Гость
Map
Форумы [новые:4] / PostgreSQL [закрыт для гостей] / Кто чем делает миграцию данных из MSSQL в Postres? / 89 сообщений из 89, показаны все 4 страниц
27.03.2023, 17:38  
    #336235
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Кто чем делает миграцию данных из MSSQL в Postres?
Какие варианты есть?
  
25,00 %
 1
  
25,00 %
 1
  
25,00 %
 1
  
25,00 %
 1
Ну я вижу 3 пути указал выше...
Ну рисовать микросервис для разовой загрузки глупо это как из пушки по воробьям... Как по мне самое простое 3 вариант - через файлы перегнать, но... в банке безопасники запрещают - типа не секурно и вообще нильзя - не объясним по чему, если сам не понимаешь, мы не виноваты что не понимаешь очевидного...
можно конечно SSIS попробовать... чота бл попробовал - не видит дефалтово постгрес, создал даже ODBC DSN - тоже сука не видит ))) может какой ему драйвер специальный нужен?
В общем пока ябуся с павершелом... загрузил в переменную resultset из запроса... и в таблицу построчно вставляю... Но чота блин 80 тыс строк меж мс-мс внутри сервера простая таблица - 0.1 сек переливается, в докер постгрес с помощью повершела - 3 минуты )))))))
...
Рейтинг: 0 / 0
27.03.2023, 18:07
    #336264
Помощник Менеджера
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Копал бы в сторону штатных конекторов, желательно со стороны постгриса
...
https://dedoforum.ru/

Ну а что делать то
Рейтинг: 0 / 0
27.03.2023, 18:16
    #336267
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Помощник Менеджера  27.03.2023, 18:07
[игнорируется]
Копал бы в сторону штатных конекторов, желательно со стороны постгриса
Всмысле, в постгрес заебенить dblink (linked server) на mssql? и скриптом заливать?
...
Рейтинг: 0 / 0
27.03.2023, 18:18
    #336271
Помощник Менеджера
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  27.03.2023, 18:16
[игнорируется]
Помощник Менеджера  27.03.2023, 18:07
[игнорируется]
Копал бы в сторону штатных конекторов, желательно со стороны постгриса
Всмысле, в постгрес заебенить dblink (linked server) на mssql? и скриптом заливать?
Ну тип того, я пострес особо не ковырял, не знаю его возможностей
...
https://dedoforum.ru/

Ну а что делать то
Рейтинг: 0 / 0
27.03.2023, 18:20
    #336275
Помощник Менеджера
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл
...
https://dedoforum.ru/

Ну а что делать то
Рейтинг: 0 / 0
27.03.2023, 18:22
    #336277
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Помощник Менеджера  27.03.2023, 18:20
[игнорируется]
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл
Да я бл всяко уже пытаюсь )))) балкинсерт из мс в мс без файлов - быстро должно быть, но суко какой то скачаный драйвер одбц постгрес не поддерживает. этих драйверов дохера какие то платные какие то бесплатные... пробовать и эксперементировать можно год ))) а сделать надо ну за несколько дней )
...
Рейтинг: 0 / 0
27.03.2023, 18:25
    #336281
Green
Модератор форума
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Я тут настраивал дружбу 1С с постгрессом, выяснил что постгрессы разных версий бывают, их по разному скомпилировать можно.
...
Рейтинг: 0 / 0
27.03.2023, 18:29
    #336288
Помощник Менеджера
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  27.03.2023, 18:22
[игнорируется]
Помощник Менеджера  27.03.2023, 18:20
[игнорируется]
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл
Да я бл всяко уже пытаюсь )))) балкинсерт из мс в мс без файлов - быстро должно быть, но суко какой то скачаный драйвер одбц постгрес не поддерживает. этих драйверов дохера какие то платные какие то бесплатные... пробовать и эксперементировать можно год ))) а сделать надо ну за несколько дней )
А штатные какие то инструменты есть?
МС игнорит постгрес ?
Раньше к мсскл помнится целый кит шел довеском с хуевой тучей разных инструментов
...
https://dedoforum.ru/

Ну а что делать то
Рейтинг: 0 / 0
27.03.2023, 18:35
    #336297
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Помощник Менеджера  27.03.2023, 18:29
[игнорируется]
Дед-Папыхтет  27.03.2023, 18:22
[игнорируется]
Помощник Менеджера  27.03.2023, 18:20
[игнорируется]
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл
Да я бл всяко уже пытаюсь )))) балкинсерт из мс в мс без файлов - быстро должно быть, но суко какой то скачаный драйвер одбц постгрес не поддерживает. этих драйверов дохера какие то платные какие то бесплатные... пробовать и эксперементировать можно год ))) а сделать надо ну за несколько дней )
А штатные какие то инструменты есть?
МС игнорит постгрес ?
Раньше к мсскл помнится целый кит шел довеском с хуевой тучей разных инструментов
У мс скл есть штатный SSIS - Integration Services, облегченный с клиентом в винде есть "мастер импорт-экспорт"
1.JPG
2.JPG
...
Рейтинг: 0 / 0
27.03.2023, 18:37
    #336300
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
еще есть утилита bcp.exe - bulk copy program с командной строки можно выгрузить из бд в цсв... но безопасники не разрешают )))) вроде как самое простое.

Еще мысль была в мсскл сформировать запросом
не

select id, name from tbl

а

select 'insert tbl (id, name) values ('+id+','''+name+''')' from tbl - такую пердь на источнике...
и сохранить результат в файл )))
но когда десять млн строк... чота я сомневаюсь что постгрес сможет такой скрипт отработать ))))))))))

ну это еще хуже чем в цсв выгружать
...
Изменено: 27.03.2023, 18:38 - Дед-Папыхтет
Рейтинг: 0 / 0
27.03.2023, 18:43
    #336305
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Я пока так заебенил... мс с дев контура, постгрес в докере локально - так тестю
Спойлер
Код: PowerShell
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
cls
$src_server = "server-mssql"
$src_port = 1433
$src_db = "db1"
$src_uid = "user1"
$src_pwd = "password1"

$trg_server = "localhost"
$trg_port = 5442
$trg_db = "dbtest"
$trg_uid = "dbuser"
$trg_pwd = "password2"

$src_conn = New-Object System.Data.Odbc.OdbcConnection
$src_conn.ConnectionString = "Driver={SQL Server};Server=$src_server;Port=$src_port;Database=$src_db;Uid=$src_uid;Pwd=$src_pwd"
$src_conn.Open()

$trg_conn = New-Object System.Data.Odbc.OdbcConnection
$trg_conn.ConnectionString = "Driver={PostgreSQL UNICODE};Server=$trg_server;Port=$trg_port;Database=$trg_db;Uid=$trg_uid;Pwd=$trg_pwd;"

$SQL = "select distinct id from dbo.guide"
$src_da = New-Object System.Data.Odbc.OdbcDataAdapter($sql, $src_conn)
$src_dt = New-Object System.Data.DataTable
$count = $src_da.Fill($src_dt)
Write-Host "dbo.guide readed" $count "rows"

$d1 = (GET-DATE)
Write-Host "Start insert assets.assets - $d1"

$trg_conn.Open()
$sql = "insert into assets.assets (id) values (?)"
$command = New-Object System.Data.Odbc.OdbcCommand($sql, $trg_conn)
$command.Parameters.Add("id", [int]) | Out-Null
$command.Transaction = $trg_conn.BeginTransaction()

$loaded = 0

$src_dt | foreach {
    $command.Parameters["id"].Value = $_.id
    try {
        $command.ExecuteNonQuery() | Out-Null
        $loaded += 1
    } catch {}
}
$command.Transaction.Commit()
$d2 = (GET-DATE)
$duration = (New-Timespam –Start $d1 –End $d2)
Write-Host "Finish insert assets.assets - $d2"
$duration
Write-Host "dbo.guide writed" $count "rows"

$trg_conn.Close()
$src_conn.Close()
$trg_conn.Dispose()
$src_conn.Dispose()
но бл чота никуя не быстро...
...
Рейтинг: 0 / 0
27.03.2023, 19:06
    #336334
Горбатый ёж
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет [игнорируется] 

Со стороны посгреса забирать ро линку будет проще, как мне кажется.
Но на одном проекте из оракла данные пентахой тащили, но там 16 тер было.
...
Рейтинг: 0 / 0
27.03.2023, 19:08
    #336335
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Горбатый ёж  27.03.2023, 19:06
[игнорируется]
Дед-Папыхтет [игнорируется] 

Со стороны посгреса забирать ро линку будет проще, как мне кажется.
Но на одном проекте из оракла данные пентахой тащили, но там 16 тер было.
Ну... сегодня 100тыс - 1 млн строк десяток таблиц... А вот завтра может быть и история сделок... то есть лучше сразу как то быстрое решение искать на перспективу... ну может действительно пентахо качну ща
...
Рейтинг: 0 / 0
27.03.2023, 19:21
    #336336
Кусь
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
...
Рейтинг: 1 / 0
Нравится: Дед-Папыхтет
27.03.2023, 19:33
    #336338
Артефакт
Участник
[не активирован]
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
вот статейка гуглицо
https://habr.com/ru/company/postgrespro/blog/309490/
...
Рейтинг: 0 / 0
27.03.2023, 20:17
    #336364
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Кусь [игнорируется] , Артефакт [игнорируется] 
Ну это да - это линкованый сервер, в терминах постгри - дблинк. Да это норм по идее, я уже писал безы скорее всего не пропустят...
...
Рейтинг: 0 / 0
27.03.2023, 21:49
    #336423
Горбатый ёж
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  27.03.2023, 20:17
[игнорируется]
безы скорее всего не пропустят...
Тогда пентахо или подобное.
Заодно отработаешь сценарии постепенной заливки. Всё сразу не перетащишь всё равно, прлстой будет долгим.
...
Рейтинг: 0 / 0
28.03.2023, 06:40
    #336514
Redd
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Не понимаю, Лешка изучает яву со страшной силой 24/7, а программы писать не хочет! Вот это поворот. А как же миллионы зп рублей?!
...
Рейтинг: 0 / 0
28.03.2023, 06:47
    #336515
PaNik
Участник
[игнорирует гостей]
[не активирован]
[неодобрен]
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Redd  28.03.2023, 06:40
[игнорируется]
А как же миллионы зп рублей?!
Зависть, Саня, - плохое чувство.
...
Рейтинг: 0 / 0
28.03.2023, 07:08
    #336526
Redd
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
PaNik  28.03.2023, 06:47
[игнорируется]
Redd  28.03.2023, 06:40
[игнорируется]
А как же миллионы зп рублей?!
Зависть, Саня, - плохое чувство.
Это юмор такой
...
Рейтинг: 0 / 0
28.03.2023, 07:31
    #336533
ZаЛупина
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
беZ трусиков!
Кто чем делает миграцию данных из MSSQL в Postres?
PaNik  28.03.2023, 06:47
[игнорируется]
Redd [игнорируется] 

Зависть, Саня, - плохое чувство.
Redd - пидарас
...
Рейтинг: 0 / 0
28.03.2023, 07:43
    #336535
sergey11
sergey11 
Участник
[игнорирует гостей]
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Можно скриншоты экранов сделать, потом распознать чем-то вроде аби файнридера, потом отпарсить в дельфях и инсертом вставить.
...
Рейтинг: 1 / 0
Нравится: Дед-Папыхтет
28.03.2023, 07:44
    #336536
Redd
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
ZаЛупина  28.03.2023, 07:31
[игнорируется]
PaNik  28.03.2023, 06:47
[игнорируется]
Redd [игнорируется] 

Зависть, Саня, - плохое чувство.
Redd - пидарас
Сиди тихо в пидоровозе и не визжи, а то водителю скажу.
...
Рейтинг: 0 / 0
28.03.2023, 23:01
    #337209
megabyte
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  27.03.2023, 18:22
[игнорируется]
Помощник Менеджера  27.03.2023, 18:20
[игнорируется]
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл
Да я бл всяко уже пытаюсь )))) балкинсерт из мс в мс без файлов - быстро должно быть, но суко какой то скачаный драйвер одбц постгрес не поддерживает. этих драйверов дохера какие то платные какие то бесплатные... пробовать и эксперементировать можно год ))) а сделать надо ну за несколько дней )
Плохо искал. На прошлой работе какой-то odbc драйвер нашли. Правда мы только из Postgresql в MSSQL данные перегоняли.

Могу у разрабов спросить, что на текущем месте практикуется. Так то миграций у нас много сейчас с MSSQL на Postgresql.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
28.03.2023, 23:03
    #337210
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
megabyte  28.03.2023, 23:01
[игнорируется]
Дед-Папыхтет  27.03.2023, 18:22
[игнорируется]
Помощник Менеджера  27.03.2023, 18:20
[игнорируется]
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл
Да я бл всяко уже пытаюсь )))) балкинсерт из мс в мс без файлов - быстро должно быть, но суко какой то скачаный драйвер одбц постгрес не поддерживает. этих драйверов дохера какие то платные какие то бесплатные... пробовать и эксперементировать можно год ))) а сделать надо ну за несколько дней )
Плохо искал. На прошлой работе какой-то odbc драйвер нашли. Правда мы только из Postgresql в MSSQL данные перегоняли.

Могу у разрабов спросить, что на текущем месте практикуется. Так то миграций у нас много сейчас с MSSQL на Postgresql.
Спроси, если не сложно
...
Рейтинг: 0 / 0
28.03.2023, 23:03
    #337211
megabyte
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Горбатый ёж  27.03.2023, 19:06
[игнорируется]
Дед-Папыхтет [игнорируется] 

Со стороны посгреса забирать ро линку будет проще, как мне кажется.
Но на одном проекте из оракла данные пентахой тащили, но там 16 тер было.
У нас с Оракла конкретно либо Информатика, либо расширение в pg Oracle_fdw.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
28.03.2023, 23:04
    #337212
megabyte
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
sergey11  28.03.2023, 07:43
[игнорируется]
Можно скриншоты экранов сделать, потом распознать чем-то вроде аби файнридера, потом отпарсить в дельфях и инсертом вставить.
Да ты гурман)
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
28.03.2023, 23:09
    #337213
Кусь
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
sergey11  28.03.2023, 07:43
[игнорируется]
Можно скриншоты экранов сделать, потом распознать чем-то вроде аби файнридера, потом отпарсить в дельфях и инсертом вставить.
а чтобы лучше распознавалось, можно ещё в фотошопе с цветами и контрастностью поиграться. Кстати, надо передать безопасникам, что для миграции данных требуется установить фотошоп. Интересно, что они скажут
...
Рейтинг: 0 / 1
Не нравится: Королева Жезлов
28.03.2023, 23:15
    #337214
Кусь
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  27.03.2023, 17:38
[игнорируется]
В общем пока ябуся с павершелом... загрузил в переменную resultset из запроса... и в таблицу построчно вставляю... Но чота блин 80 тыс строк
если хочешь поипаться, можешь выгрузить resultset как выражения Insert (TOAD такое умел, может и management studio тоже), подшаманить в текстовом редакторе и выполнить потом на Postgres
...
Рейтинг: 0 / 1
Не нравится: Королева Жезлов
29.03.2023, 11:38
    #337470
megabyte
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  28.03.2023, 23:03
[игнорируется]
megabyte  28.03.2023, 23:01
[игнорируется]
Дед-Папыхтет  27.03.2023, 18:22
[игнорируется]
Помощник Менеджера  27.03.2023, 18:20
[игнорируется]
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл
Да я бл всяко уже пытаюсь )))) балкинсерт из мс в мс без файлов - быстро должно быть, но суко какой то скачаный драйвер одбц постгрес не поддерживает. этих драйверов дохера какие то платные какие то бесплатные... пробовать и эксперементировать можно год ))) а сделать надо ну за несколько дней )
Плохо искал. На прошлой работе какой-то odbc драйвер нашли. Правда мы только из Postgresql в MSSQL данные перегоняли.

Могу у разрабов спросить, что на текущем месте практикуется. Так то миграций у нас много сейчас с MSSQL на Postgresql.
Спроси, если не сложно
Спросил у нач. отдела разработки. Сказал: informatica, либо convert to csv + copy.
Спросил у одного разраба: informatica, но были проблемы с текстовыми полями.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 1 / 0
Нравится: Кусь
29.03.2023, 11:41
    #337474
Кусь
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
megabyte  29.03.2023, 11:38
[игнорируется]
Спросил у одного разраба: informatica, но были проблемы с текстовыми полями.
Это известная проблема, но она решается.
Можно установить бесплатный Pentaho, если informatica нет.
...
Рейтинг: 1 / 1
Нравится: Дед-Папыхтет
Не нравится: Королева Жезлов
29.03.2023, 14:22
    #337671
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
megabyte  29.03.2023, 11:38
[игнорируется]
Дед-Папыхтет  28.03.2023, 23:03
[игнорируется]
megabyte  28.03.2023, 23:01
[игнорируется]
Дед-Папыхтет  27.03.2023, 18:22
[игнорируется]
Помощник Менеджера  27.03.2023, 18:20
[игнорируется]
...
Да я бл всяко уже пытаюсь )))) балкинсерт из мс в мс без файлов - быстро должно быть, но суко какой то скачаный драйвер одбц постгрес не поддерживает. этих драйверов дохера какие то платные какие то бесплатные... пробовать и эксперементировать можно год ))) а сделать надо ну за несколько дней )
Плохо искал. На прошлой работе какой-то odbc драйвер нашли. Правда мы только из Postgresql в MSSQL данные перегоняли.

Могу у разрабов спросить, что на текущем месте практикуется. Так то миграций у нас много сейчас с MSSQL на Postgresql.
Спроси, если не сложно
Спросил у нач. отдела разработки. Сказал: informatica, либо convert to csv + copy.
Спросил у одного разраба: informatica, но были проблемы с текстовыми полями.
Понятно. Информатика платный продукт у нас его нет. Ну я пока рисую в аналоге от Майкрософт - SSIS. Хоть это не целевое на перспективу не опенсорс, но миграция с мсскл - ссис у нас уже есть
...
Рейтинг: 0 / 0
29.03.2023, 14:59
    #337681
anonymous
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
тебе просто данные перенести из таблиц или ты хочешь всю базу мигрировать?
...
Рейтинг: 0 / 0
29.03.2023, 15:02
    #337689
Огрищще
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Улыбайтесь - это всех раздражает.©
Кто чем делает миграцию данных из MSSQL в Postres?
ZаЛупина  28.03.2023, 07:31
[игнорируется]
Redd
Кувв
...
Рейтинг: 0 / 0
29.03.2023, 15:03
    #337690
sergey11
sergey11 
Участник
[игнорирует гостей]
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  29.03.2023, 14:22
[игнорируется]
megabyte  29.03.2023, 11:38
[игнорируется]
Дед-Папыхтет  28.03.2023, 23:03
[игнорируется]
megabyte  28.03.2023, 23:01
[игнорируется]
Дед-Папыхтет  27.03.2023, 18:22
[игнорируется]
...
Плохо искал. На прошлой работе какой-то odbc драйвер нашли. Правда мы только из Postgresql в MSSQL данные перегоняли.

Могу у разрабов спросить, что на текущем месте практикуется. Так то миграций у нас много сейчас с MSSQL на Postgresql.
Спроси, если не сложно
Спросил у нач. отдела разработки. Сказал: informatica, либо convert to csv + copy.
Спросил у одного разраба: informatica, но были проблемы с текстовыми полями.
Понятно. Информатика платный продукт у нас его нет. Ну я пока рисую в аналоге от Майкрософт - SSIS. Хоть это не целевое на перспективу не опенсорс, но миграция с мсскл - ссис у нас уже есть
Медведев же сказал, что можно и воровать.
...
Рейтинг: 0 / 0
29.03.2023, 15:07
    #337699
anonymous
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
из платных могу посоветовать EMS Data Pump for PostgreSQL, если интересно могу рассказать, там есть свои + и -

бесплатно, то базу можно мигрировать используя комбинацию tds_fdw + sqlserver2pgsql

для начала
sudo yum install tds_fdw_14

CREATE EXTENSION tds_fdw;

CREATE SERVER mssql FOREIGN DATA WRAPPER tds_fdw OPTIONS (servername 'mssql', database ‘database', msg_handler 'notice');

CREATE USER MAPPING FOR postgres SERVER mssql OPTIONS (username ‘user', password 'password');

CREATE DATABASE new_db;
CREATE SCHEMA new_schema;

IMPORT FOREIGN SCHEMA dbo FROM SERVER mssql INTO new_schema OPTIONS (import_default 'true');

экспортируем структуру БД MSSQL через генерацию скрипта
даем пожевать ее perl sqlserver2pgsql.pl -f tables.sql -b tables-before.sql -a tables-after.sql -u tables-unsure.sql

на выходе получаем скрипты для постгри
tables-before.sql – файл создания таблиц
tables-after.sql – файл установки ограничений
tables-unsure.sql – файл значений по умолчанию

далее хуячим курсором
DO $$
DECLARE
rec RECORD;
cur CURSOR FOR
SELECT foreign_table_name FROM information_schema.foreign_tables;
BEGIN
OPEN cur;
LOOP
FETCH cur INTO rec;
EXIT WHEN NOT FOUND;
EXECUTE ('insert into public.'||lower(rec.foreign_table_name)||' select * from '||'public."'||rec.foreign_table_name||'"'||';');
END LOOP;
CLOSE cur;
END $$;

на тестовом стенде проверял 300 гигов льет часа за 3 на сервере типа 4 ядра и 15 гигов ОЗУ
...
Рейтинг: 2 / 0
Нравится: megabyte, Дед-Папыхтет
29.03.2023, 15:10
    #337704
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
anonymous  29.03.2023, 14:59
[игнорируется]
тебе просто данные перенести из таблиц или ты хочешь всю базу мигрировать?
Пока 8 справочников, но в последствии и другие таблицы - думаю подобные задачи будут перманентно возникать. Цель уйти от мсскл на микросервисную архитектуру. в общем частями
...
Рейтинг: 0 / 0
29.03.2023, 15:10
    #337705
anonymous
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
p.s. это касаемо данных
индексы, вторичные ключи, ограничения - там уже своя ебля
...
Рейтинг: 0 / 0
29.03.2023, 15:10
    #337707
anonymous
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  29.03.2023, 15:10
[игнорируется]
anonymous  29.03.2023, 14:59
[игнорируется]
тебе просто данные перенести из таблиц или ты хочешь всю базу мигрировать?
Пока 8 справочников, но в последствии и другие таблицы - думаю подобные задачи будут перманентно возникать. Цель уйти от мсскл на микросервисную архитектуру. в общем частями
тогда юзай внешние таблицы, по мне так тебе оптимально будет
...
Рейтинг: 0 / 0
29.03.2023, 15:11
    #337709
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
anonymous  29.03.2023, 15:07
[игнорируется]
из платных могу посоветовать EMS Data Pump for PostgreSQL, если интересно могу рассказать, там есть свои + и -

бесплатно, то базу можно мигрировать используя комбинацию tds_fdw + sqlserver2pgsql

для начала
sudo yum install tds_fdw_14

CREATE EXTENSION tds_fdw;

CREATE SERVER mssql FOREIGN DATA WRAPPER tds_fdw OPTIONS (servername 'mssql', database ‘database', msg_handler 'notice');

CREATE USER MAPPING FOR postgres SERVER mssql OPTIONS (username ‘user', password 'password');

CREATE DATABASE new_db;
CREATE SCHEMA new_schema;

IMPORT FOREIGN SCHEMA dbo FROM SERVER mssql INTO new_schema OPTIONS (import_default 'true');

экспортируем структуру БД MSSQL через генерацию скрипта
даем пожевать ее perl sqlserver2pgsql.pl -f tables.sql -b tables-before.sql -a tables-after.sql -u tables-unsure.sql

на выходе получаем скрипты для постгри
tables-before.sql – файл создания таблиц
tables-after.sql – файл установки ограничений
tables-unsure.sql – файл значений по умолчанию

далее хуячим курсором
DO $$
DECLARE
rec RECORD;
cur CURSOR FOR
SELECT foreign_table_name FROM information_schema.foreign_tables;
BEGIN
OPEN cur;
LOOP
FETCH cur INTO rec;
EXIT WHEN NOT FOUND;
EXECUTE ('insert into public.'||lower(rec.foreign_table_name)||' select * from '||'public."'||rec.foreign_table_name||'"'||';');
END LOOP;
CLOSE cur;
END $$;

на тестовом стенде проверял 300 гигов льет часа за 3 на сервере типа 4 ядра и 15 гигов ОЗУ
за скрипт спасибо большое )))) хоть йобли меньше будет если разрешат с дблинк делать
...
Рейтинг: 0 / 0
29.03.2023, 15:16
    #337715
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
anonymous  29.03.2023, 15:10
[игнорируется]
Дед-Папыхтет  29.03.2023, 15:10
[игнорируется]
anonymous  29.03.2023, 14:59
[игнорируется]
тебе просто данные перенести из таблиц или ты хочешь всю базу мигрировать?
Пока 8 справочников, но в последствии и другие таблицы - думаю подобные задачи будут перманентно возникать. Цель уйти от мсскл на микросервисную архитектуру. в общем частями
тогда юзай внешние таблицы, по мне так тебе оптимально будет
Пока проблема в чем в банке бюрократия и безопасность блюдёт что бы неразрешенные технологии не использовались.
1. несогласованный софт - типа пентахо или платная информатика - согласование через 7 кругов ада может длится полгода выступить на куче встреч и куче разных уровней начальникам доказать необходимость использования этого, далее проверка безов что это безопасно и банк не рискует ))))
2. уже безы запретили выгружать файлы и загружать - типа с мсскл в цсв выгрузить и в постгрес загрузить, всей истории не знаю да и насрать честно говоря, но что бы такое протолкнуть куча нервов своих, твоих руководителей и т.п. безопасники упёртые что пиздец.
3. дблинк или же линкед сервер по той же самой причине запретили.

Выход, или что то свое писать на джава, скрипт баш павершел или что уже куплено и разрешено использовать. Ну раз мсскл у нас куплен, хоть мы и отказываемся, с мсскл идет ссис - вот им пока и пользуюсь. хотя... когда не будет мсскл не будет ссис и я бы наверное перелез сразу на пентаху... но пентаха пока не разрешена ))))))))))))))))) и не согласована
...
Изменено: 29.03.2023, 15:16 - Дед-Папыхтет
Рейтинг: 0 / 0
29.03.2023, 15:16
    #337717
anonymous
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
а, забыл уточнить
EMS Data Pump for PostgreSQL есть демо режим 30 дней, только он переносит 10% от данных в этом режиме
...
Рейтинг: 0 / 0
29.03.2023, 15:18
    #337719
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Хотя вот... чобы не сделать экспорт импорт в цсв или хмл?... вроде самое простое...
да и дблинк тоже прост, но видимо эксперты сказали что это не безопасно и всё - пиздарики
...
Рейтинг: 0 / 0
29.03.2023, 15:18
    #337720
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
локально я всяко могу сделать на стенде тестовом или девелоперском или локально... а на прод хуй пустят
...
Рейтинг: 0 / 0
29.03.2023, 15:19
    #337722
anonymous
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  29.03.2023, 15:16
[игнорируется]
anonymous  29.03.2023, 15:10
[игнорируется]
Дед-Папыхтет  29.03.2023, 15:10
[игнорируется]
anonymous  29.03.2023, 14:59
[игнорируется]
тебе просто данные перенести из таблиц или ты хочешь всю базу мигрировать?
Пока 8 справочников, но в последствии и другие таблицы - думаю подобные задачи будут перманентно возникать. Цель уйти от мсскл на микросервисную архитектуру. в общем частями
тогда юзай внешние таблицы, по мне так тебе оптимально будет
Пока проблема в чем в банке бюрократия и безопасность блюдёт что бы неразрешенные технологии использовались.
1. несогласованный софт - типа пентахо или платная информатика - согласование через 7 кругов ада может длится полгода выступить на куче встреч и куче разных уровней начальникам доказать необходимость использования этого, далее проверка безов что это безопасно и банк не рискует ))))
2. уже безы запретили выгружать файлы и загружать - типа с мсскл в цсв выгрузить и в постгрес загрузить, всей истории не знаю да и насрать честно говоря, но что бы такое протолкнуть куча нервов своих, твоих руководителей и т.п. безопасники упёртые что пиздец.
3. дблинк или же линкед сервер по той же самой причине запретили.

Выход, или что то свое писать на джава, скрипт баш павершел или что уже куплено и разрешено использовать. Ну раз мсскл у нас куплен, хоть мы и отказываемся, с мсскл идет ссис - вот им пока и пользуюсь. хотя... когда не будет мсскл не будет ссис и я бы наверное перелез сразу на пентаху... но пентаха пока не разрешена ))))))))))))))))) и не согласована
мда, ну тогда остается написать скрипт, который откроет 2 соединение, в одном будет делать select, в другом insert, построчно или через некую виртуальную таблицу, но это будет пиздец как долго
все остальное - либо файлы, либо прямой линк
...
Рейтинг: 0 / 0
29.03.2023, 15:20
    #337724
anonymous
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  29.03.2023, 15:18
[игнорируется]
Хотя вот... чобы не сделать экспорт импорт в цсв или хмл?... вроде самое простое...
да и дблинк тоже прост, но видимо эксперты сказали что это не безопасно и всё - пиздарики
в чем небезопасность db линка? по ssl соединитесь и гоните прямым потоком
дайте пользователю права в MSSQL только на select из базы, а на постгре, только insert
...
Рейтинг: 0 / 0
29.03.2023, 15:23
    #337729
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
anonymous  29.03.2023, 15:20
[игнорируется]
Дед-Папыхтет  29.03.2023, 15:18
[игнорируется]
Хотя вот... чобы не сделать экспорт импорт в цсв или хмл?... вроде самое простое...
да и дблинк тоже прост, но видимо эксперты сказали что это не безопасно и всё - пиздарики
в чем небезопасность db линка? по ssl соединитесь и гоните прямым потоком
дайте пользователю права в MSSQL только на select из базы, а на постгре, только insert
Да!

Но... когда то видимо давным давно что бе не ебаца с правами давали учетки сервиса права сисадмина, щас в банке дают права владельца бд на БД, ладно хоть не на сервер. И видимо такие права и не безопасны ))))
Я просто предполагаю, что руководящие лица принимающие решения не знают что можно права давать на отдельно взятые таблицы, может даже и знают, но не хотят связываться - сказано так делать - так и делаем.
...
Рейтинг: 0 / 0
29.03.2023, 15:25
    #337730
anonymous
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  29.03.2023, 15:23
[игнорируется]
anonymous  29.03.2023, 15:20
[игнорируется]
Дед-Папыхтет  29.03.2023, 15:18
[игнорируется]
Хотя вот... чобы не сделать экспорт импорт в цсв или хмл?... вроде самое простое...
да и дблинк тоже прост, но видимо эксперты сказали что это не безопасно и всё - пиздарики
в чем небезопасность db линка? по ssl соединитесь и гоните прямым потоком
дайте пользователю права в MSSQL только на select из базы, а на постгре, только insert
Да!

Но... когда то видимо давным давно что бе не ебаца с правами давали учетки сервиса права сисадмина, щас в банке дают права владельца бд на БД, ладно хоть не на сервер. И видимо такие права и не безопасны ))))
Я просто предполагаю, что руководящие лица принимающие решения не знают что можно права давать на отдельно взятые таблицы, может даже и знают, но не хотят связываться - сказано так делать - так и делаем.
кстати SSIS он же тоже грузит либо через файлы, либо через линк Оо
...
Рейтинг: 0 / 0
29.03.2023, 15:25
    #337733
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
на эту тему вспомнился мем:
В конторе прорвало канализацию. Срочно собрали членов правления АО. Типа оперативный штаб. После проверки все ли собрались, председательствующий спросил: а в чём причина аварии - мы мало проводим совещаний или они неэффективны?
ну очень похоже на совещания когда начальники отделов-департаментов собираются
...
Рейтинг: 1 / 0
Нравится: megabyte
29.03.2023, 15:26
    #337734
PaNik
Участник
[игнорирует гостей]
[не активирован]
[неодобрен]
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  29.03.2023, 15:23
[игнорируется]
anonymous  29.03.2023, 15:20
[игнорируется]
Дед-Папыхтет  29.03.2023, 15:18
[игнорируется]
Хотя вот... чобы не сделать экспорт импорт в цсв или хмл?... вроде самое простое...
да и дблинк тоже прост, но видимо эксперты сказали что это не безопасно и всё - пиздарики
в чем небезопасность db линка? по ssl соединитесь и гоните прямым потоком
дайте пользователю права в MSSQL только на select из базы, а на постгре, только insert
Да!

Но... когда то видимо давным давно что бе не ебаца с правами давали учетки сервиса права сисадмина, щас в банке дают права владельца бд на БД, ладно хоть не на сервер. И видимо такие права и не безопасны ))))
Я просто предполагаю, что руководящие лица принимающие решения не знают что можно права давать на отдельно взятые таблицы, может даже и знают, но не хотят связываться - сказано так делать - так и делаем.
"... мне не надо быстро и чисто, мне надо чтобы вы заебались" (с) армейский анекдот
...
Рейтинг: 0 / 0
29.03.2023, 15:28
    #337736
anonymous
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  29.03.2023, 15:25
[игнорируется]
на эту тему вспомнился мем:
В конторе прорвало канализацию. Срочно собрали членов правления АО. Типа оперативный штаб. После проверки все ли собрались, председательствующий спросил: а в чём причина аварии - мы мало проводим совещаний или они неэффективны?
ну очень похоже на совещания когда начальники отделов-департаментов собираются
я ща такой же еблей занимаюсь, у меня наверно 30% рабочего времени - совещания, где гоняют из пустого в порожнее и никто не хочет брать ответственность
при этом дошло до смешного, принимать решение не хотят, поэтому у меня нет работы, но с меня же требуют отчета о проделанной работе, в итоге сижу рисую хуи [:biggrin2]
...
Рейтинг: 1 / 0
Нравится: Дед-Папыхтет
29.03.2023, 15:37
    #337744
Горбатый ёж
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  29.03.2023, 14:22
[игнорируется]
миграция с мсскл - ссис у нас уже есть
Вопрос как связываться с получателем.
По моему опыту всякие ODBC, особенно некоммерческие, могут имет ограничения на предмет записи данных в удалённый приёмник, а вот с чтением как правило проблем очень мало. Так что если льёшь в посгрес, то и использовать надо средства посгреса.
ИМХО.
...
Рейтинг: 0 / 0
29.03.2023, 15:40
    #337745
anonymous
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Горбатый ёж  29.03.2023, 15:37
[игнорируется]
Дед-Папыхтет  29.03.2023, 14:22
[игнорируется]
миграция с мсскл - ссис у нас уже есть
Вопрос как связываться с получателем.
По моему опыту всякие ODBC, особенно некоммерческие, могут имет ограничения на предмет записи данных в удалённый приёмник, а вот с чтением как правило проблем очень мало. Так что если льёшь в посгрес, то и использовать надо средства посгреса.
ИМХО.
ну можно всякие екстеншены поискать для постгри или написать скрипт на нем, он же поддерживает Java, Perl, Python, Ruby, Tcl, C/C++
...
Рейтинг: 1 / 0
Нравится: megabyte
29.03.2023, 15:42
    #337746
Горбатый ёж
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  29.03.2023, 15:16
[игнорируется]
1. несогласованный софт - типа пентахо или платная информатика - согласование через 7 кругов ада может длится полгода выступить на куче встреч и куче разных уровней начальникам доказать необходимость использования этого, далее проверка безов что это безопасно и банк не рискует ))))
2. уже безы запретили выгружать файлы и загружать - типа с мсскл в цсв выгрузить и в постгрес загрузить, всей истории не знаю да и насрать честно говоря, но что бы такое протолкнуть куча нервов своих, твоих руководителей и т.п. безопасники упёртые что пиздец.
3. дблинк или же линкед сервер по той же самой причине запретили.
Долбоебизм.
...
Рейтинг: 0 / 0
29.03.2023, 15:43
    #337748
Горбатый ёж
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  29.03.2023, 15:18
[игнорируется]
эксперты сказали что это не безопасно и всё - пиздарики
Ну так пусть руководство и пишет, что озвученным требованиям соответствует только ручной перенос данных.
Пусть набирают штат сотрудников для переноса и те будут тыкать клавиши.
...
Рейтинг: 0 / 0
29.03.2023, 15:46
    #337753
Горбатый ёж
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
anonymous  29.03.2023, 15:40
[игнорируется]
ну можно всякие екстеншены поискать для постгри
Если безопасность разрешит экстеншены, то у меня плохие новости про этих безопасников :D
...
Рейтинг: 0 / 0
29.03.2023, 15:49
    #337755
anonymous
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Горбатый ёж  29.03.2023, 15:46
[игнорируется]
anonymous  29.03.2023, 15:40
[игнорируется]
ну можно всякие екстеншены поискать для постгри
Если безопасность разрешит экстеншены, то у меня плохие новости про этих безопасников :D
ну тогда все ручками, чо
иначе все скрипты и опен софт запрещены)
...
Рейтинг: 0 / 0
29.03.2023, 17:25
    #337792
Кусь
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
А если посадить безопасников переносить данные руками из одной базы в другую? Уверен, это будет самый безопасный вариант. И чем больше привлеч безопасников, тем выше производительность такого решения.
...
Изменено: 29.03.2023, 17:25 - Кусь
Рейтинг: 6 / 0
29.03.2023, 18:07
    #337815
anonymous
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Кусь  29.03.2023, 17:25
[игнорируется]
А если посадить безопасников переносить данные руками из одной базы в другую? Уверен, это будет самый безопасный вариант. И чем больше привлеч безопасников, тем выше производительность такого решения.
это самый действенный и быстрый способ получить добро от безопасников [:grin]
...
Рейтинг: 2 / 0
Нравится: Гарыныч, Кусь
29.03.2023, 18:22
    #337827
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Красивенько получилось ))))
етл.JPG
...
Рейтинг: 0 / 0
29.03.2023, 18:25
    #337828
PaNik
Участник
[игнорирует гостей]
[не активирован]
[неодобрен]
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
нет ли втут ДСП?
...
Рейтинг: 0 / 0
29.03.2023, 18:37
    #337831
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
PaNik  29.03.2023, 18:25
[игнорируется]
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
нет ли втут ДСП?
Штааа?
...
Рейтинг: 0 / 0
29.03.2023, 18:44
    #337832
sergey11
sergey11 
Участник
[игнорирует гостей]
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  29.03.2023, 18:37
[игнорируется]
PaNik  29.03.2023, 18:25
[игнорируется]
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
нет ли втут ДСП?
Штааа?
древесно-стружечная плита
...
Рейтинг: 0 / 0
29.03.2023, 18:46
    #337833
Гарыныч
Участник
[игнорирует гостей кроме]
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
красивое!
...
дед-пердед
Рейтинг: 0 / 0
29.03.2023, 18:46
    #337834
Буся
Буся 
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  29.03.2023, 18:37
[игнорируется]
PaNik  29.03.2023, 18:25
[игнорируется]
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
нет ли втут ДСП?
Штааа?
NDA
...
хвост есть продолжение кошки
Рейтинг: 0 / 0
29.03.2023, 18:48
    #337835
Гарыныч
Участник
[игнорирует гостей кроме]
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Буся  29.03.2023, 18:46
[игнорируется]
Дед-Папыхтет  29.03.2023, 18:37
[игнорируется]
PaNik  29.03.2023, 18:25
[игнорируется]
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
нет ли втут ДСП?
Штааа?
NDA
https://trends.rbc.ru/trends/social/62fcc7dc9a79473bc1f56270
...
дед-пердед
Рейтинг: 0 / 0
29.03.2023, 20:58
    #337911
anonymous
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
и чем это отличается от прямого линка? - ничем))
...
Рейтинг: 0 / 0
29.03.2023, 21:04
    #337912
PaNik
Участник
[игнорирует гостей]
[не активирован]
[неодобрен]
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
anonymous  29.03.2023, 20:58
[игнорируется]
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
и чем это отличается от прямого линка? - ничем))
прямой линк СБ забороняє
...
Рейтинг: 0 / 0
29.03.2023, 21:05
    #337913
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
anonymous  29.03.2023, 20:58
[игнорируется]
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
и чем это отличается от прямого линка? - ничем))
нуууу это не прямой линк это как приложение тащит с источника и хуячит в приемник, если требуется преобразования делает...
у всяких подобных ЕТЛ программ есть неоспоримые преимущества.

1. визуальность мышкатыкание - для многих это минус, меня раздражало сильно писать не код а хуярить всё мышкой, но аналитикам такая визуальность по душе сильно.
2. очень легко параллелить процессы - прямоугольник куда не заходит стрелка независим от других подобных. Стрелка обозначает - порядок выполнения. Часто когда нужно загрузить несколько таблиц - их в таком пакете стартуешь не по порядку а одновременно. Ну на мой взгляд здесь проще, нежели в джаве городит потомки тредов и всяко извращаться.
3. быстрота переливки больших объемов - bulk insert поддержка - пакетная переливка.

Вообще SSIS, Pentahoo, Informatika примерно одна хуйня и назначение - переливка данных из источников в приемники... ну как бы специализированное средство...

Не факт что безопасники такое пропустят, если не пропустят ну перепишу скриптом...
...
Рейтинг: 0 / 0
29.03.2023, 21:44
    #337929
sergey11
sergey11 
Участник
[игнорирует гостей]
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  29.03.2023, 21:05
[игнорируется]
anonymous [игнорируется] 

нуууу это не прямой линк это как приложение тащит с источника и хуячит в приемник, если требуется преобразования делает...
у всяких подобных ЕТЛ программ есть неоспоримые преимущества.

1. визуальность мышкатыкание - для многих это минус, меня раздражало сильно писать не код а хуярить всё мышкой, но аналитикам такая визуальность по душе сильно.
2. очень легко параллелить процессы - прямоугольник куда не заходит стрелка независим от других подобных. Стрелка обозначает - порядок выполнения. Часто когда нужно загрузить несколько таблиц - их в таком пакете стартуешь не по порядку а одновременно. Ну на мой взгляд здесь проще, нежели в джаве городит потомки тредов и всяко извращаться.
3. быстрота переливки больших объемов - bulk insert поддержка - пакетная переливка.

Вообще SSIS, Pentahoo, Informatika примерно одна хуйня и назначение - переливка данных из источников в приемники... ну как бы специализированное средство...

Не факт что безопасники такое пропустят, если не пропустят ну перепишу скриптом...
А что может смущать безопасников?
...
Рейтинг: 0 / 0
29.03.2023, 22:00
    #337936
anonymous
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  29.03.2023, 21:05
[игнорируется]
anonymous  29.03.2023, 20:58
[игнорируется]
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
и чем это отличается от прямого линка? - ничем))
нуууу это не прямой линк это как приложение тащит с источника и хуячит в приемник, если требуется преобразования делает...
у всяких подобных ЕТЛ программ есть неоспоримые преимущества.

1. визуальность мышкатыкание - для многих это минус, меня раздражало сильно писать не код а хуярить всё мышкой, но аналитикам такая визуальность по душе сильно.
2. очень легко параллелить процессы - прямоугольник куда не заходит стрелка независим от других подобных. Стрелка обозначает - порядок выполнения. Часто когда нужно загрузить несколько таблиц - их в таком пакете стартуешь не по порядку а одновременно. Ну на мой взгляд здесь проще, нежели в джаве городит потомки тредов и всяко извращаться.
3. быстрота переливки больших объемов - bulk insert поддержка - пакетная переливка.

Вообще SSIS, Pentahoo, Informatika примерно одна хуйня и назначение - переливка данных из источников в приемники... ну как бы специализированное средство...

Не факт что безопасники такое пропустят, если не пропустят ну перепишу скриптом...
в любом случае эта борода устанавливает 2 коннекта и гонит данные через некий "буфер", что проигрывает булку или прямому переносу
я ей пользовался, но удобно, когда надо либо быстро что-то набросать, либо создать некую схему порядков выполнения, условий и прочего
в постгрессе аналог булк инсерта есть при заливки из файлов, остальное обычный инсерт (сам не проверял, но на курсах так объясняли)
если же нужно лить большие таблицы на постоянной основе без каких-то изъебов я бы выбрал прямой линк или файлы csv

написанный скрипт в целом будет делать тоже самое
...
Изменено: 29.03.2023, 22:00 - anonymous
Рейтинг: 0 / 0
29.03.2023, 22:01
    #337938
anonymous
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
sergey11  29.03.2023, 21:44
[игнорируется]
Дед-Папыхтет  29.03.2023, 21:05
[игнорируется]
anonymous [игнорируется] 

нуууу это не прямой линк это как приложение тащит с источника и хуячит в приемник, если требуется преобразования делает...
у всяких подобных ЕТЛ программ есть неоспоримые преимущества.

1. визуальность мышкатыкание - для многих это минус, меня раздражало сильно писать не код а хуярить всё мышкой, но аналитикам такая визуальность по душе сильно.
2. очень легко параллелить процессы - прямоугольник куда не заходит стрелка независим от других подобных. Стрелка обозначает - порядок выполнения. Часто когда нужно загрузить несколько таблиц - их в таком пакете стартуешь не по порядку а одновременно. Ну на мой взгляд здесь проще, нежели в джаве городит потомки тредов и всяко извращаться.
3. быстрота переливки больших объемов - bulk insert поддержка - пакетная переливка.

Вообще SSIS, Pentahoo, Informatika примерно одна хуйня и назначение - переливка данных из источников в приемники... ну как бы специализированное средство...

Не факт что безопасники такое пропустят, если не пропустят ну перепишу скриптом...
А что может смущать безопасников?
любовь к коням
...
Рейтинг: 1 / 0
Нравится: Дед-Папыхтет
29.03.2023, 23:40
    #337974
Кусь
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
...
Рейтинг: 0 / 1
Не нравится: Королева Жезлов
29.03.2023, 23:52
    #337977
anonymous
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Кусь  29.03.2023, 23:40
[игнорируется]
тоже любили коней?
...
Рейтинг: 0 / 0
30.03.2023, 00:09
    #337982
Кусь
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
anonymous  29.03.2023, 23:52
[игнорируется]
Кусь  29.03.2023, 23:40
[игнорируется]
тоже любили коней?
Наверное, медленно переносили данные между базами
...
Рейтинг: 1 / 1
Нравится: Дед-Папыхтет
Не нравится: Королева Жезлов
30.03.2023, 09:45
    #338076
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Кусь  30.03.2023, 00:09
[игнорируется]
anonymous  29.03.2023, 23:52
[игнорируется]
Кусь  29.03.2023, 23:40
[игнорируется]
тоже любили коней?
Наверное, медленно переносили данные между базами
Вбивали руками со скриншотов )
...
Рейтинг: 0 / 0
30.03.2023, 12:05
    #338154
Горбатый ёж
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  30.03.2023, 09:45
[игнорируется]
Кусь  30.03.2023, 00:09
[игнорируется]
anonymous  29.03.2023, 23:52
[игнорируется]
Кусь  29.03.2023, 23:40
[игнорируется]
тоже любили коней?
Наверное, медленно переносили данные между базами
Вбивали руками со скриншотов )
Смех смехом, а была история одна про это.
Была себе одна служба и работала она в рамках федерального округа. То есть в каждом федеральном округе своя служба со своими базами со своей автоматизацией и так далее. В рамках округа базы были разные, у кого-то распределённые, у кого-то централизованные, где-то была репликация, где-то не было, соответственно отчётность и учётность тоже сильно отличались. Решило руководство страны навести порядок в учёте, точнее если раньше службы брали деньги с клиентов себе, но часть переводили в бюджет, то теперь решили, что всё в бюджет, а на расходы службам по бюджетным заявкам возвращать.
Для наведения порядка было решено в плане учёта ТМЦ, зарплаты и прочей бухгалтерии перейти на единую платформу с общей БД. Платформа эта 1С естественно. У нас в округе тоже уже перешли на 1С какую-то к тому моменту, что не отменяло перехода глобального на 1С-ERP. Дошло дело до выгрузки остатков ТМЦ из баз округов в общую ERPу. Естественно это уже когда процессы оттестированы, планы счетов вбиты и частично, точнее все новые проводки идут уже в общей системе. Но для построения отчётности надо же остатки все сгрузить.
Собирается совещание. Вопрос хотели решить быстро и велели всем справочники номенклатуры выгрузить и нормас. Но тут выяснилось, как всегда внезапно, что справочника номенклатуры будет недостаточно, ибо ручка эрих краузе номенклатурно вроде бы одна, а вот в реализациях в округах этих ручек как у дурака фантиков, все эрих краузе, все внешне одинаковые, отличаются внезапно ценой. На каждую цену заводилась новая номенклатура, ну так вот. Естественно (на самом деле противоестественно) что у бухгалтера с головной свежеиспечённой организации возник вопрос почему цены на ручки разные, что за бардак и вообще это попахивает откатами всех расстрелять немедленно! Бухгалтеры на местах сказали, что это не бардак, а закупки в разные момент времени, ибо ручки не вечные и иногда (часто) приходится пополнять исчезающие запасы всей канцелярки, поэтому расстрелять надо сраных торгашей из миномётов!
На совещании присутствовала наша сотрудница, программист, специалист по бухгалтерским программам и она предложила сделать выгрузку из нашей системы в их в нужном виде, передать специалистам головной организации по защищённым каналам передачи данных, а те в свою очередь загрузят. Но был нюанс, нужно было определиться с параметрами выверки, как быть уверенным, что перенеслось всё и корректно. Для этого надо было сформировать отчётные документы за истекший период на окружных базах и на центральной в разрезе округов, затем сравнить циферки.
Ну как бы на мой взгляд оно логично.
Была на дворе пятница.
Далее был такой диалог.
Главбух центрального аппарата: - Не надо выгрузки, мои девочки забьют всю номенклатуру руками, так будет надёжнее.
Наша программист: - Но у нас например около 20 тысяч позиций номенклатуры, у других округов списки тоже немаленькие...
- А ничего страшного, за выходные справятся.
Вот так вот оно иногда (часто) бывает...
...
Рейтинг: 0 / 0
04.04.2023, 20:24
    #345043
PaNik
Участник
[игнорирует гостей]
[не активирован]
[неодобрен]
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Ифрит  04.04.2023, 20:22
[игнорируется]
Горбатый ёж  29.03.2023, 15:43
[игнорируется]
Дед-Папыхтет  29.03.2023, 15:18
[игнорируется]
эксперты сказали что это не безопасно и всё - пиздарики
Ну так пусть руководство и пишет, что озвученным требованиям соответствует только ручной перенос данных.
Пусть набирают штат сотрудников для переноса и те будут тыкать клавиши.
как-то странно, безопасники - как раз и есть безопасные исполнители для разовых работ, недавно нужно было перенести дамп м/д общедоступной и секурной сетью, так вперёд, тащите по своим безопасным каналам... и перетащили ))
безопасники - это чтобы тебе проблем создать, видно ты не сталкивался
...
Изменено: 04.04.2023, 20:25 - PaNik
Рейтинг: 0 / 0
04.04.2023, 20:33
    #345078
Ифрит
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
PaNik  04.04.2023, 20:24
[игнорируется]
Ифрит  04.04.2023, 20:22
[игнорируется]
Горбатый ёж  29.03.2023, 15:43
[игнорируется]
Дед-Папыхтет  29.03.2023, 15:18
[игнорируется]
эксперты сказали что это не безопасно и всё - пиздарики
Ну так пусть руководство и пишет, что озвученным требованиям соответствует только ручной перенос данных.
Пусть набирают штат сотрудников для переноса и те будут тыкать клавиши.
как-то странно, безопасники - как раз и есть безопасные исполнители для разовых работ, недавно нужно было перенести дамп м/д общедоступной и секурной сетью, так вперёд, тащите по своим безопасным каналам... и перетащили ))
безопасники - это чтобы тебе проблем создать, видно ты не сталкивался
ещё как, но иной раз (когда нужно сверху) можно и на этой кладбищенской кобыле покататься ))
...
Изменено: 04.04.2023, 20:36 - Ифрит
Рейтинг: 0 / 0
04.04.2023, 21:42
    #345252
Горбатый ёж
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
PaNik  04.04.2023, 20:24
[игнорируется]
безопасники - это чтобы тебе проблем создать
Конечно.
Потому что ты есть ни кто иной, как самая главная угроза безопасности. Ибо сказано, что основную угрозу составляет квалифицированный сотрудник организации, имеющий легальные доступы к информации.
Это же азбука информационной безопасности.
...
Рейтинг: 0 / 0
04.04.2023, 21:58
    #345272
PaNik
Участник
[игнорирует гостей]
[не активирован]
[неодобрен]
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Горбатый ёж  04.04.2023, 21:42
[игнорируется]
PaNik  04.04.2023, 20:24
[игнорируется]
безопасники - это чтобы тебе проблем создать
Конечно.
Потому что ты есть ни кто иной, как самая главная угроза безопасности. Ибо сказано, что основную угрозу составляет квалифицированный сотрудник организации, имеющий легальные доступы к информации.
Это же азбука информационной безопасности.
ну работа у них такая
...
Рейтинг: 1 / 0
Нравится: Горбатый ёж
02.05.2023, 17:46
    #378172
Администратор
Администратор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Тема была перенесена из форума 'Просто Трёп'.
...
Администратор:
Тема была перенесена из форума 'Просто Трёп'.
Рейтинг: 0 / 0
10.07.2023, 14:25
    #476573
Sparrow
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
выгружать из ms sql надо утилитой bcp. Не может быть чтобы в постгрее не было средства эти файлы загрузить.

Может это :
https://www.postgresql.org/message-id/CAKJS1f_7eVMOFKva wwQSjqVoAmHaMa0kP4gyz1tW_pVYtTfNw@mail.gmail.com
...
Рейтинг: 0 / 0
10.07.2023, 14:34
    #476581
Sparrow
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Ваши безопасники боятся сторонних утилит? Пиши свою. Формат файлов bcp совсем простой, там можно и csv.
...
Рейтинг: 0 / 0
10.07.2023, 19:30
    #476939
Green
Модератор форума
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Ну в MS SQL есть средства миграции, вроде Integration Services.
...
Рейтинг: 0 / 0
18.02.2024, 00:57
    #722482
Тень на плетень
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
На практике из MS SQL переносят или при помощи SSIS или tds_fdw.

Хорошо если готовая схема в PostgreSQL уже есть.

Данные нужно тащить вообще без индексов в целевых таблицах. Создавать их нужно потом. Ну в самом конце синхронизация последовательностей.
...
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
Рейтинг: 1 / 0
Нравится: megabyte
21.02.2024, 21:55
    #725059
Тень на плетень
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Вчера участвовал в миграции одного проекта с MS SQL. Так вот, они мигрировали своим коробочным мигратором. Я только триггеры отрубил перед миграцией. Так что все может быть готово от вендора.

Но скорость переноса данных - жесть. Это беда по моему всех миграторов. Как быстро переносить данные вообще мало кто знает. (Я знаю! :))) )
...
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
Изменено: 21.02.2024, 21:55 - Тень на плетень
Рейтинг: 0 / 0
21.02.2024, 22:00
    #725062
Кусь
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Тень на плетень  21.02.2024, 21:55
[игнорируется]
Вчера участвовал в миграции одного проекта с MS SQL. Так вот, они мигрировали своим коробочным мигратором. Я только триггеры отрубил перед миграцией. Так что все может быть готово от вендора.

Но скорость переноса данных - жесть. Это беда по моему всех миграторов. Как быстро переносить данные вообще мало кто знает. (Я знаю! :))) )
Ты просто замечательный мужик.
Ленинград - Геленджик (Sziget 2013)
...
Рейтинг: 1 / 0
Нравится: Гарыныч
21.02.2024, 22:12
    #725066
Тень на плетень
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Сегодня настроил мигратор для еще одного проекта. Но там миграция из Оракла. Там где то 1.5 терабайт. Нужно перенести максимум за 5 часов. По факту наверное часа 2 будет норм. Схемы на этот раз не было, но сгененрил шаблон через ora2pg. В основном были нужны ограничения и индексы.

Перетаскивать данные буду через oracle_fdw примерно в 100 потоков, там у них 128 ядер.

Так что мигрируем проекты как пирожки :)))
...
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
Изменено: 21.02.2024, 22:12 - Тень на плетень
Рейтинг: 1 / 0
Нравится: Гарыныч
Форумы [новые:4] / PostgreSQL [закрыт для гостей] / Кто чем делает миграцию данных из MSSQL в Postres? / 89 сообщений из 89, показаны все 4 страниц
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (1): Анонимы (1)
Игнорируют тему (1): erbol 
Читали форум (1): Анонимы (1)
Пользователи онлайн (29): Анонимы (14), kkk-jjj, Barkrowler, s62, erbol, Yandex Bot, паразит, IT-Клоп 1 мин., Просто Трёп 1 мин., Bing Bot 1 мин., cat2 2 мин., Tabula Rasa 2 мин., Буся 3 мин., Три нитки 3 мин., sergey11 4 мин., Дед-Папыхтет 6 мин.
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]