powered by simpleCommunicator - 2.0.18     © 2024 Programmizd 02
Map
Форумы / PostgreSQL [закрыт для гостей] / Кто чем делает миграцию данных из MSSQL в Postres?
89 сообщений из 89, показаны все 4 страниц
Кто чем делает миграцию данных из MSSQL в Postres?  
    #336235
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кто чем делает миграцию данных из MSSQL в Postres?
Какие варианты есть?
  
25,00 %
 1
  
25,00 %
 1
  
25,00 %
 1
  
25,00 %
 1
Ну я вижу 3 пути указал выше...
Ну рисовать микросервис для разовой загрузки глупо это как из пушки по воробьям... Как по мне самое простое 3 вариант - через файлы перегнать, но... в банке безопасники запрещают - типа не секурно и вообще нильзя - не объясним по чему, если сам не понимаешь, мы не виноваты что не понимаешь очевидного...
можно конечно SSIS попробовать... чота бл попробовал - не видит дефалтово постгрес, создал даже ODBC DSN - тоже сука не видит ))) может какой ему драйвер специальный нужен?
В общем пока ябуся с павершелом... загрузил в переменную resultset из запроса... и в таблицу построчно вставляю... Но чота блин 80 тыс строк меж мс-мс внутри сервера простая таблица - 0.1 сек переливается, в докер постгрес с помощью повершела - 3 минуты )))))))
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336264
Помощник Менеджера
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Копал бы в сторону штатных конекторов, желательно со стороны постгриса
...
https://dedoforum.ru/

Ну а что делать то
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336267
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Помощник Менеджера  27.03.2023, 18:07
[игнорируется]
Копал бы в сторону штатных конекторов, желательно со стороны постгриса
Всмысле, в постгрес заебенить dblink (linked server) на mssql? и скриптом заливать?
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336271
Помощник Менеджера
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  27.03.2023, 18:16
[игнорируется]
Помощник Менеджера  27.03.2023, 18:07
[игнорируется]
Копал бы в сторону штатных конекторов, желательно со стороны постгриса
Всмысле, в постгрес заебенить dblink (linked server) на mssql? и скриптом заливать?
Ну тип того, я пострес особо не ковырял, не знаю его возможностей
...
https://dedoforum.ru/

Ну а что делать то
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336275
Помощник Менеджера
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл
...
https://dedoforum.ru/

Ну а что делать то
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336277
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Помощник Менеджера  27.03.2023, 18:20
[игнорируется]
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл
Да я бл всяко уже пытаюсь )))) балкинсерт из мс в мс без файлов - быстро должно быть, но суко какой то скачаный драйвер одбц постгрес не поддерживает. этих драйверов дохера какие то платные какие то бесплатные... пробовать и эксперементировать можно год ))) а сделать надо ну за несколько дней )
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336281
Фотография Green
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
Я тут настраивал дружбу 1С с постгрессом, выяснил что постгрессы разных версий бывают, их по разному скомпилировать можно.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336288
Помощник Менеджера
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  27.03.2023, 18:22
[игнорируется]
Помощник Менеджера  27.03.2023, 18:20
[игнорируется]
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл
Да я бл всяко уже пытаюсь )))) балкинсерт из мс в мс без файлов - быстро должно быть, но суко какой то скачаный драйвер одбц постгрес не поддерживает. этих драйверов дохера какие то платные какие то бесплатные... пробовать и эксперементировать можно год ))) а сделать надо ну за несколько дней )
А штатные какие то инструменты есть?
МС игнорит постгрес ?
Раньше к мсскл помнится целый кит шел довеском с хуевой тучей разных инструментов
...
https://dedoforum.ru/

Ну а что делать то
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336297
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Помощник Менеджера  27.03.2023, 18:29
[игнорируется]
Дед-Папыхтет  27.03.2023, 18:22
[игнорируется]
Помощник Менеджера  27.03.2023, 18:20
[игнорируется]
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл
Да я бл всяко уже пытаюсь )))) балкинсерт из мс в мс без файлов - быстро должно быть, но суко какой то скачаный драйвер одбц постгрес не поддерживает. этих драйверов дохера какие то платные какие то бесплатные... пробовать и эксперементировать можно год ))) а сделать надо ну за несколько дней )
А штатные какие то инструменты есть?
МС игнорит постгрес ?
Раньше к мсскл помнится целый кит шел довеском с хуевой тучей разных инструментов
У мс скл есть штатный SSIS - Integration Services, облегченный с клиентом в винде есть "мастер импорт-экспорт"
1.JPG
2.JPG
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336300
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
еще есть утилита bcp.exe - bulk copy program с командной строки можно выгрузить из бд в цсв... но безопасники не разрешают )))) вроде как самое простое.

Еще мысль была в мсскл сформировать запросом
не

select id, name from tbl

а

select 'insert tbl (id, name) values ('+id+','''+name+''')' from tbl - такую пердь на источнике...
и сохранить результат в файл )))
но когда десять млн строк... чота я сомневаюсь что постгрес сможет такой скрипт отработать ))))))))))

ну это еще хуже чем в цсв выгружать
...
Изменено: 27.03.2023, 18:38 - Дед-Папыхтет
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336305
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я пока так заебенил... мс с дев контура, постгрес в докере локально - так тестю
Спойлер
Код: PowerShell
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
cls
$src_server = "server-mssql"
$src_port = 1433
$src_db = "db1"
$src_uid = "user1"
$src_pwd = "password1"

$trg_server = "localhost"
$trg_port = 5442
$trg_db = "dbtest"
$trg_uid = "dbuser"
$trg_pwd = "password2"

$src_conn = New-Object System.Data.Odbc.OdbcConnection
$src_conn.ConnectionString = "Driver={SQL Server};Server=$src_server;Port=$src_port;Database=$src_db;Uid=$src_uid;Pwd=$src_pwd"
$src_conn.Open()

$trg_conn = New-Object System.Data.Odbc.OdbcConnection
$trg_conn.ConnectionString = "Driver={PostgreSQL UNICODE};Server=$trg_server;Port=$trg_port;Database=$trg_db;Uid=$trg_uid;Pwd=$trg_pwd;"

$SQL = "select distinct id from dbo.guide"
$src_da = New-Object System.Data.Odbc.OdbcDataAdapter($sql, $src_conn)
$src_dt = New-Object System.Data.DataTable
$count = $src_da.Fill($src_dt)
Write-Host "dbo.guide readed" $count "rows"

$d1 = (GET-DATE)
Write-Host "Start insert assets.assets - $d1"

$trg_conn.Open()
$sql = "insert into assets.assets (id) values (?)"
$command = New-Object System.Data.Odbc.OdbcCommand($sql, $trg_conn)
$command.Parameters.Add("id", [int]) | Out-Null
$command.Transaction = $trg_conn.BeginTransaction()

$loaded = 0

$src_dt | foreach {
    $command.Parameters["id"].Value = $_.id
    try {
        $command.ExecuteNonQuery() | Out-Null
        $loaded += 1
    } catch {}
}
$command.Transaction.Commit()
$d2 = (GET-DATE)
$duration = (New-Timespam –Start $d1 –End $d2)
Write-Host "Finish insert assets.assets - $d2"
$duration
Write-Host "dbo.guide writed" $count "rows"

$trg_conn.Close()
$src_conn.Close()
$trg_conn.Dispose()
$src_conn.Dispose()
но бл чота никуя не быстро...
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336334
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет [игнорируется] 

Со стороны посгреса забирать ро линку будет проще, как мне кажется.
Но на одном проекте из оракла данные пентахой тащили, но там 16 тер было.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336335
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Горбатый ёж  27.03.2023, 19:06
[игнорируется]
Дед-Папыхтет [игнорируется] 

Со стороны посгреса забирать ро линку будет проще, как мне кажется.
Но на одном проекте из оракла данные пентахой тащили, но там 16 тер было.
Ну... сегодня 100тыс - 1 млн строк десяток таблиц... А вот завтра может быть и история сделок... то есть лучше сразу как то быстрое решение искать на перспективу... ну может действительно пентахо качну ща
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336336
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 1 / 0
Нравится: Дед-Папыхтет
Кто чем делает миграцию данных из MSSQL в Postres?
    #336338
Артефакт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[не активирован]
вот статейка гуглицо
https://habr.com/ru/company/postgrespro/blog/309490/
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336364
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кусь [игнорируется] , Артефакт [игнорируется] 
Ну это да - это линкованый сервер, в терминах постгри - дблинк. Да это норм по идее, я уже писал безы скорее всего не пропустят...
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336423
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  27.03.2023, 20:17
[игнорируется]
безы скорее всего не пропустят...
Тогда пентахо или подобное.
Заодно отработаешь сценарии постепенной заливки. Всё сразу не перетащишь всё равно, прлстой будет долгим.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336514
Redd
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Не понимаю, Лешка изучает яву со страшной силой 24/7, а программы писать не хочет! Вот это поворот. А как же миллионы зп рублей?!
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336515
PaNik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
[не активирован]
[неодобрен]
Redd  28.03.2023, 06:40
[игнорируется]
А как же миллионы зп рублей?!
Зависть, Саня, - плохое чувство.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336526
Redd
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PaNik  28.03.2023, 06:47
[игнорируется]
Redd  28.03.2023, 06:40
[игнорируется]
А как же миллионы зп рублей?!
Зависть, Саня, - плохое чувство.
Это юмор такой
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336533
ZаЛупина
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
беZ трусиков!
PaNik  28.03.2023, 06:47
[игнорируется]
Redd [игнорируется] 

Зависть, Саня, - плохое чувство.
Redd - пидарас
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336535
sergey11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
Можно скриншоты экранов сделать, потом распознать чем-то вроде аби файнридера, потом отпарсить в дельфях и инсертом вставить.
...
Рейтинг: 1 / 0
Нравится: Дед-Папыхтет
Кто чем делает миграцию данных из MSSQL в Postres?
    #336536
Redd
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ZаЛупина  28.03.2023, 07:31
[игнорируется]
PaNik  28.03.2023, 06:47
[игнорируется]
Redd [игнорируется] 

Зависть, Саня, - плохое чувство.
Redd - пидарас
Сиди тихо в пидоровозе и не визжи, а то водителю скажу.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337209
megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  27.03.2023, 18:22
[игнорируется]
Помощник Менеджера  27.03.2023, 18:20
[игнорируется]
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл
Да я бл всяко уже пытаюсь )))) балкинсерт из мс в мс без файлов - быстро должно быть, но суко какой то скачаный драйвер одбц постгрес не поддерживает. этих драйверов дохера какие то платные какие то бесплатные... пробовать и эксперементировать можно год ))) а сделать надо ну за несколько дней )
Плохо искал. На прошлой работе какой-то odbc драйвер нашли. Правда мы только из Postgresql в MSSQL данные перегоняли.

Могу у разрабов спросить, что на текущем месте практикуется. Так то миграций у нас много сейчас с MSSQL на Postgresql.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337210
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
megabyte  28.03.2023, 23:01
[игнорируется]
Дед-Папыхтет  27.03.2023, 18:22
[игнорируется]
Помощник Менеджера  27.03.2023, 18:20
[игнорируется]
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл
Да я бл всяко уже пытаюсь )))) балкинсерт из мс в мс без файлов - быстро должно быть, но суко какой то скачаный драйвер одбц постгрес не поддерживает. этих драйверов дохера какие то платные какие то бесплатные... пробовать и эксперементировать можно год ))) а сделать надо ну за несколько дней )
Плохо искал. На прошлой работе какой-то odbc драйвер нашли. Правда мы только из Postgresql в MSSQL данные перегоняли.

Могу у разрабов спросить, что на текущем месте практикуется. Так то миграций у нас много сейчас с MSSQL на Postgresql.
Спроси, если не сложно
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337211
megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Горбатый ёж  27.03.2023, 19:06
[игнорируется]
Дед-Папыхтет [игнорируется] 

Со стороны посгреса забирать ро линку будет проще, как мне кажется.
Но на одном проекте из оракла данные пентахой тащили, но там 16 тер было.
У нас с Оракла конкретно либо Информатика, либо расширение в pg Oracle_fdw.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337212
megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sergey11  28.03.2023, 07:43
[игнорируется]
Можно скриншоты экранов сделать, потом распознать чем-то вроде аби файнридера, потом отпарсить в дельфях и инсертом вставить.
Да ты гурман)
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337213
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sergey11  28.03.2023, 07:43
[игнорируется]
Можно скриншоты экранов сделать, потом распознать чем-то вроде аби файнридера, потом отпарсить в дельфях и инсертом вставить.
а чтобы лучше распознавалось, можно ещё в фотошопе с цветами и контрастностью поиграться. Кстати, надо передать безопасникам, что для миграции данных требуется установить фотошоп. Интересно, что они скажут
...
Рейтинг: 0 / 1
Не нравится: Королева Жезлов
Кто чем делает миграцию данных из MSSQL в Postres?
    #337214
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  27.03.2023, 17:38
[игнорируется]
В общем пока ябуся с павершелом... загрузил в переменную resultset из запроса... и в таблицу построчно вставляю... Но чота блин 80 тыс строк
если хочешь поипаться, можешь выгрузить resultset как выражения Insert (TOAD такое умел, может и management studio тоже), подшаманить в текстовом редакторе и выполнить потом на Postgres
...
Рейтинг: 0 / 1
Не нравится: Королева Жезлов
Кто чем делает миграцию данных из MSSQL в Postres?
    #337470
megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  28.03.2023, 23:03
[игнорируется]
megabyte  28.03.2023, 23:01
[игнорируется]
Дед-Папыхтет  27.03.2023, 18:22
[игнорируется]
Помощник Менеджера  27.03.2023, 18:20
[игнорируется]
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл
Да я бл всяко уже пытаюсь )))) балкинсерт из мс в мс без файлов - быстро должно быть, но суко какой то скачаный драйвер одбц постгрес не поддерживает. этих драйверов дохера какие то платные какие то бесплатные... пробовать и эксперементировать можно год ))) а сделать надо ну за несколько дней )
Плохо искал. На прошлой работе какой-то odbc драйвер нашли. Правда мы только из Postgresql в MSSQL данные перегоняли.

Могу у разрабов спросить, что на текущем месте практикуется. Так то миграций у нас много сейчас с MSSQL на Postgresql.
Спроси, если не сложно
Спросил у нач. отдела разработки. Сказал: informatica, либо convert to csv + copy.
Спросил у одного разраба: informatica, но были проблемы с текстовыми полями.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 1 / 0
Нравится: Кусь
Кто чем делает миграцию данных из MSSQL в Postres?
    #337474
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
megabyte  29.03.2023, 11:38
[игнорируется]
Спросил у одного разраба: informatica, но были проблемы с текстовыми полями.
Это известная проблема, но она решается.
Можно установить бесплатный Pentaho, если informatica нет.
...
Рейтинг: 1 / 1
Нравится: Дед-Папыхтет
Не нравится: Королева Жезлов
Кто чем делает миграцию данных из MSSQL в Postres?
    #337671
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
megabyte  29.03.2023, 11:38
[игнорируется]
Дед-Папыхтет  28.03.2023, 23:03
[игнорируется]
megabyte  28.03.2023, 23:01
[игнорируется]
Дед-Папыхтет  27.03.2023, 18:22
[игнорируется]
Помощник Менеджера  27.03.2023, 18:20
[игнорируется]
...
Да я бл всяко уже пытаюсь )))) балкинсерт из мс в мс без файлов - быстро должно быть, но суко какой то скачаный драйвер одбц постгрес не поддерживает. этих драйверов дохера какие то платные какие то бесплатные... пробовать и эксперементировать можно год ))) а сделать надо ну за несколько дней )
Плохо искал. На прошлой работе какой-то odbc драйвер нашли. Правда мы только из Postgresql в MSSQL данные перегоняли.

Могу у разрабов спросить, что на текущем месте практикуется. Так то миграций у нас много сейчас с MSSQL на Postgresql.
Спроси, если не сложно
Спросил у нач. отдела разработки. Сказал: informatica, либо convert to csv + copy.
Спросил у одного разраба: informatica, но были проблемы с текстовыми полями.
Понятно. Информатика платный продукт у нас его нет. Ну я пока рисую в аналоге от Майкрософт - SSIS. Хоть это не целевое на перспективу не опенсорс, но миграция с мсскл - ссис у нас уже есть
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337681
anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
тебе просто данные перенести из таблиц или ты хочешь всю базу мигрировать?
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337689
Огрищще
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Улыбайтесь - это всех раздражает.©
ZаЛупина  28.03.2023, 07:31
[игнорируется]
Redd
Кувв
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337690
sergey11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
Дед-Папыхтет  29.03.2023, 14:22
[игнорируется]
megabyte  29.03.2023, 11:38
[игнорируется]
Дед-Папыхтет  28.03.2023, 23:03
[игнорируется]
megabyte  28.03.2023, 23:01
[игнорируется]
Дед-Папыхтет  27.03.2023, 18:22
[игнорируется]
...
Плохо искал. На прошлой работе какой-то odbc драйвер нашли. Правда мы только из Postgresql в MSSQL данные перегоняли.

Могу у разрабов спросить, что на текущем месте практикуется. Так то миграций у нас много сейчас с MSSQL на Postgresql.
Спроси, если не сложно
Спросил у нач. отдела разработки. Сказал: informatica, либо convert to csv + copy.
Спросил у одного разраба: informatica, но были проблемы с текстовыми полями.
Понятно. Информатика платный продукт у нас его нет. Ну я пока рисую в аналоге от Майкрософт - SSIS. Хоть это не целевое на перспективу не опенсорс, но миграция с мсскл - ссис у нас уже есть
Медведев же сказал, что можно и воровать.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337699
anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
из платных могу посоветовать EMS Data Pump for PostgreSQL, если интересно могу рассказать, там есть свои + и -

бесплатно, то базу можно мигрировать используя комбинацию tds_fdw + sqlserver2pgsql

для начала
sudo yum install tds_fdw_14

CREATE EXTENSION tds_fdw;

CREATE SERVER mssql FOREIGN DATA WRAPPER tds_fdw OPTIONS (servername 'mssql', database ‘database', msg_handler 'notice');

CREATE USER MAPPING FOR postgres SERVER mssql OPTIONS (username ‘user', password 'password');

CREATE DATABASE new_db;
CREATE SCHEMA new_schema;

IMPORT FOREIGN SCHEMA dbo FROM SERVER mssql INTO new_schema OPTIONS (import_default 'true');

экспортируем структуру БД MSSQL через генерацию скрипта
даем пожевать ее perl sqlserver2pgsql.pl -f tables.sql -b tables-before.sql -a tables-after.sql -u tables-unsure.sql

на выходе получаем скрипты для постгри
tables-before.sql – файл создания таблиц
tables-after.sql – файл установки ограничений
tables-unsure.sql – файл значений по умолчанию

далее хуячим курсором
DO $$
DECLARE
rec RECORD;
cur CURSOR FOR
SELECT foreign_table_name FROM information_schema.foreign_tables;
BEGIN
OPEN cur;
LOOP
FETCH cur INTO rec;
EXIT WHEN NOT FOUND;
EXECUTE ('insert into public.'||lower(rec.foreign_table_name)||' select * from '||'public."'||rec.foreign_table_name||'"'||';');
END LOOP;
CLOSE cur;
END $$;

на тестовом стенде проверял 300 гигов льет часа за 3 на сервере типа 4 ядра и 15 гигов ОЗУ
...
Рейтинг: 2 / 0
Нравится: megabyte, Дед-Папыхтет
Кто чем делает миграцию данных из MSSQL в Postres?
    #337704
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
anonymous  29.03.2023, 14:59
[игнорируется]
тебе просто данные перенести из таблиц или ты хочешь всю базу мигрировать?
Пока 8 справочников, но в последствии и другие таблицы - думаю подобные задачи будут перманентно возникать. Цель уйти от мсскл на микросервисную архитектуру. в общем частями
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337705
anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
p.s. это касаемо данных
индексы, вторичные ключи, ограничения - там уже своя ебля
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337707
anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  29.03.2023, 15:10
[игнорируется]
anonymous  29.03.2023, 14:59
[игнорируется]
тебе просто данные перенести из таблиц или ты хочешь всю базу мигрировать?
Пока 8 справочников, но в последствии и другие таблицы - думаю подобные задачи будут перманентно возникать. Цель уйти от мсскл на микросервисную архитектуру. в общем частями
тогда юзай внешние таблицы, по мне так тебе оптимально будет
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337709
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
anonymous  29.03.2023, 15:07
[игнорируется]
из платных могу посоветовать EMS Data Pump for PostgreSQL, если интересно могу рассказать, там есть свои + и -

бесплатно, то базу можно мигрировать используя комбинацию tds_fdw + sqlserver2pgsql

для начала
sudo yum install tds_fdw_14

CREATE EXTENSION tds_fdw;

CREATE SERVER mssql FOREIGN DATA WRAPPER tds_fdw OPTIONS (servername 'mssql', database ‘database', msg_handler 'notice');

CREATE USER MAPPING FOR postgres SERVER mssql OPTIONS (username ‘user', password 'password');

CREATE DATABASE new_db;
CREATE SCHEMA new_schema;

IMPORT FOREIGN SCHEMA dbo FROM SERVER mssql INTO new_schema OPTIONS (import_default 'true');

экспортируем структуру БД MSSQL через генерацию скрипта
даем пожевать ее perl sqlserver2pgsql.pl -f tables.sql -b tables-before.sql -a tables-after.sql -u tables-unsure.sql

на выходе получаем скрипты для постгри
tables-before.sql – файл создания таблиц
tables-after.sql – файл установки ограничений
tables-unsure.sql – файл значений по умолчанию

далее хуячим курсором
DO $$
DECLARE
rec RECORD;
cur CURSOR FOR
SELECT foreign_table_name FROM information_schema.foreign_tables;
BEGIN
OPEN cur;
LOOP
FETCH cur INTO rec;
EXIT WHEN NOT FOUND;
EXECUTE ('insert into public.'||lower(rec.foreign_table_name)||' select * from '||'public."'||rec.foreign_table_name||'"'||';');
END LOOP;
CLOSE cur;
END $$;

на тестовом стенде проверял 300 гигов льет часа за 3 на сервере типа 4 ядра и 15 гигов ОЗУ
за скрипт спасибо большое )))) хоть йобли меньше будет если разрешат с дблинк делать
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337715
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
anonymous  29.03.2023, 15:10
[игнорируется]
Дед-Папыхтет  29.03.2023, 15:10
[игнорируется]
anonymous  29.03.2023, 14:59
[игнорируется]
тебе просто данные перенести из таблиц или ты хочешь всю базу мигрировать?
Пока 8 справочников, но в последствии и другие таблицы - думаю подобные задачи будут перманентно возникать. Цель уйти от мсскл на микросервисную архитектуру. в общем частями
тогда юзай внешние таблицы, по мне так тебе оптимально будет
Пока проблема в чем в банке бюрократия и безопасность блюдёт что бы неразрешенные технологии не использовались.
1. несогласованный софт - типа пентахо или платная информатика - согласование через 7 кругов ада может длится полгода выступить на куче встреч и куче разных уровней начальникам доказать необходимость использования этого, далее проверка безов что это безопасно и банк не рискует ))))
2. уже безы запретили выгружать файлы и загружать - типа с мсскл в цсв выгрузить и в постгрес загрузить, всей истории не знаю да и насрать честно говоря, но что бы такое протолкнуть куча нервов своих, твоих руководителей и т.п. безопасники упёртые что пиздец.
3. дблинк или же линкед сервер по той же самой причине запретили.

Выход, или что то свое писать на джава, скрипт баш павершел или что уже куплено и разрешено использовать. Ну раз мсскл у нас куплен, хоть мы и отказываемся, с мсскл идет ссис - вот им пока и пользуюсь. хотя... когда не будет мсскл не будет ссис и я бы наверное перелез сразу на пентаху... но пентаха пока не разрешена ))))))))))))))))) и не согласована
...
Изменено: 29.03.2023, 15:16 - Дед-Папыхтет
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337717
anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а, забыл уточнить
EMS Data Pump for PostgreSQL есть демо режим 30 дней, только он переносит 10% от данных в этом режиме
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337719
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хотя вот... чобы не сделать экспорт импорт в цсв или хмл?... вроде самое простое...
да и дблинк тоже прост, но видимо эксперты сказали что это не безопасно и всё - пиздарики
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337720
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
локально я всяко могу сделать на стенде тестовом или девелоперском или локально... а на прод хуй пустят
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337722
anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  29.03.2023, 15:16
[игнорируется]
anonymous  29.03.2023, 15:10
[игнорируется]
Дед-Папыхтет  29.03.2023, 15:10
[игнорируется]
anonymous  29.03.2023, 14:59
[игнорируется]
тебе просто данные перенести из таблиц или ты хочешь всю базу мигрировать?
Пока 8 справочников, но в последствии и другие таблицы - думаю подобные задачи будут перманентно возникать. Цель уйти от мсскл на микросервисную архитектуру. в общем частями
тогда юзай внешние таблицы, по мне так тебе оптимально будет
Пока проблема в чем в банке бюрократия и безопасность блюдёт что бы неразрешенные технологии использовались.
1. несогласованный софт - типа пентахо или платная информатика - согласование через 7 кругов ада может длится полгода выступить на куче встреч и куче разных уровней начальникам доказать необходимость использования этого, далее проверка безов что это безопасно и банк не рискует ))))
2. уже безы запретили выгружать файлы и загружать - типа с мсскл в цсв выгрузить и в постгрес загрузить, всей истории не знаю да и насрать честно говоря, но что бы такое протолкнуть куча нервов своих, твоих руководителей и т.п. безопасники упёртые что пиздец.
3. дблинк или же линкед сервер по той же самой причине запретили.

Выход, или что то свое писать на джава, скрипт баш павершел или что уже куплено и разрешено использовать. Ну раз мсскл у нас куплен, хоть мы и отказываемся, с мсскл идет ссис - вот им пока и пользуюсь. хотя... когда не будет мсскл не будет ссис и я бы наверное перелез сразу на пентаху... но пентаха пока не разрешена ))))))))))))))))) и не согласована
мда, ну тогда остается написать скрипт, который откроет 2 соединение, в одном будет делать select, в другом insert, построчно или через некую виртуальную таблицу, но это будет пиздец как долго
все остальное - либо файлы, либо прямой линк
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337724
anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  29.03.2023, 15:18
[игнорируется]
Хотя вот... чобы не сделать экспорт импорт в цсв или хмл?... вроде самое простое...
да и дблинк тоже прост, но видимо эксперты сказали что это не безопасно и всё - пиздарики
в чем небезопасность db линка? по ssl соединитесь и гоните прямым потоком
дайте пользователю права в MSSQL только на select из базы, а на постгре, только insert
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337729
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
anonymous  29.03.2023, 15:20
[игнорируется]
Дед-Папыхтет  29.03.2023, 15:18
[игнорируется]
Хотя вот... чобы не сделать экспорт импорт в цсв или хмл?... вроде самое простое...
да и дблинк тоже прост, но видимо эксперты сказали что это не безопасно и всё - пиздарики
в чем небезопасность db линка? по ssl соединитесь и гоните прямым потоком
дайте пользователю права в MSSQL только на select из базы, а на постгре, только insert
Да!

Но... когда то видимо давным давно что бе не ебаца с правами давали учетки сервиса права сисадмина, щас в банке дают права владельца бд на БД, ладно хоть не на сервер. И видимо такие права и не безопасны ))))
Я просто предполагаю, что руководящие лица принимающие решения не знают что можно права давать на отдельно взятые таблицы, может даже и знают, но не хотят связываться - сказано так делать - так и делаем.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337730
anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  29.03.2023, 15:23
[игнорируется]
anonymous  29.03.2023, 15:20
[игнорируется]
Дед-Папыхтет  29.03.2023, 15:18
[игнорируется]
Хотя вот... чобы не сделать экспорт импорт в цсв или хмл?... вроде самое простое...
да и дблинк тоже прост, но видимо эксперты сказали что это не безопасно и всё - пиздарики
в чем небезопасность db линка? по ssl соединитесь и гоните прямым потоком
дайте пользователю права в MSSQL только на select из базы, а на постгре, только insert
Да!

Но... когда то видимо давным давно что бе не ебаца с правами давали учетки сервиса права сисадмина, щас в банке дают права владельца бд на БД, ладно хоть не на сервер. И видимо такие права и не безопасны ))))
Я просто предполагаю, что руководящие лица принимающие решения не знают что можно права давать на отдельно взятые таблицы, может даже и знают, но не хотят связываться - сказано так делать - так и делаем.
кстати SSIS он же тоже грузит либо через файлы, либо через линк Оо
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337733
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
на эту тему вспомнился мем:
В конторе прорвало канализацию. Срочно собрали членов правления АО. Типа оперативный штаб. После проверки все ли собрались, председательствующий спросил: а в чём причина аварии - мы мало проводим совещаний или они неэффективны?
ну очень похоже на совещания когда начальники отделов-департаментов собираются
...
Рейтинг: 1 / 0
Нравится: megabyte
Кто чем делает миграцию данных из MSSQL в Postres?
    #337734
PaNik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
[не активирован]
[неодобрен]
Дед-Папыхтет  29.03.2023, 15:23
[игнорируется]
anonymous  29.03.2023, 15:20
[игнорируется]
Дед-Папыхтет  29.03.2023, 15:18
[игнорируется]
Хотя вот... чобы не сделать экспорт импорт в цсв или хмл?... вроде самое простое...
да и дблинк тоже прост, но видимо эксперты сказали что это не безопасно и всё - пиздарики
в чем небезопасность db линка? по ssl соединитесь и гоните прямым потоком
дайте пользователю права в MSSQL только на select из базы, а на постгре, только insert
Да!

Но... когда то видимо давным давно что бе не ебаца с правами давали учетки сервиса права сисадмина, щас в банке дают права владельца бд на БД, ладно хоть не на сервер. И видимо такие права и не безопасны ))))
Я просто предполагаю, что руководящие лица принимающие решения не знают что можно права давать на отдельно взятые таблицы, может даже и знают, но не хотят связываться - сказано так делать - так и делаем.
"... мне не надо быстро и чисто, мне надо чтобы вы заебались" (с) армейский анекдот
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337736
anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  29.03.2023, 15:25
[игнорируется]
на эту тему вспомнился мем:
В конторе прорвало канализацию. Срочно собрали членов правления АО. Типа оперативный штаб. После проверки все ли собрались, председательствующий спросил: а в чём причина аварии - мы мало проводим совещаний или они неэффективны?
ну очень похоже на совещания когда начальники отделов-департаментов собираются
я ща такой же еблей занимаюсь, у меня наверно 30% рабочего времени - совещания, где гоняют из пустого в порожнее и никто не хочет брать ответственность
при этом дошло до смешного, принимать решение не хотят, поэтому у меня нет работы, но с меня же требуют отчета о проделанной работе, в итоге сижу рисую хуи [:biggrin2]
...
Рейтинг: 1 / 0
Нравится: Дед-Папыхтет
Кто чем делает миграцию данных из MSSQL в Postres?
    #337744
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  29.03.2023, 14:22
[игнорируется]
миграция с мсскл - ссис у нас уже есть
Вопрос как связываться с получателем.
По моему опыту всякие ODBC, особенно некоммерческие, могут имет ограничения на предмет записи данных в удалённый приёмник, а вот с чтением как правило проблем очень мало. Так что если льёшь в посгрес, то и использовать надо средства посгреса.
ИМХО.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337745
anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Горбатый ёж  29.03.2023, 15:37
[игнорируется]
Дед-Папыхтет  29.03.2023, 14:22
[игнорируется]
миграция с мсскл - ссис у нас уже есть
Вопрос как связываться с получателем.
По моему опыту всякие ODBC, особенно некоммерческие, могут имет ограничения на предмет записи данных в удалённый приёмник, а вот с чтением как правило проблем очень мало. Так что если льёшь в посгрес, то и использовать надо средства посгреса.
ИМХО.
ну можно всякие екстеншены поискать для постгри или написать скрипт на нем, он же поддерживает Java, Perl, Python, Ruby, Tcl, C/C++
...
Рейтинг: 1 / 0
Нравится: megabyte
Кто чем делает миграцию данных из MSSQL в Postres?
    #337746
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  29.03.2023, 15:16
[игнорируется]
1. несогласованный софт - типа пентахо или платная информатика - согласование через 7 кругов ада может длится полгода выступить на куче встреч и куче разных уровней начальникам доказать необходимость использования этого, далее проверка безов что это безопасно и банк не рискует ))))
2. уже безы запретили выгружать файлы и загружать - типа с мсскл в цсв выгрузить и в постгрес загрузить, всей истории не знаю да и насрать честно говоря, но что бы такое протолкнуть куча нервов своих, твоих руководителей и т.п. безопасники упёртые что пиздец.
3. дблинк или же линкед сервер по той же самой причине запретили.
Долбоебизм.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337748
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  29.03.2023, 15:18
[игнорируется]
эксперты сказали что это не безопасно и всё - пиздарики
Ну так пусть руководство и пишет, что озвученным требованиям соответствует только ручной перенос данных.
Пусть набирают штат сотрудников для переноса и те будут тыкать клавиши.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337753
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
anonymous  29.03.2023, 15:40
[игнорируется]
ну можно всякие екстеншены поискать для постгри
Если безопасность разрешит экстеншены, то у меня плохие новости про этих безопасников :D
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337755
anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Горбатый ёж  29.03.2023, 15:46
[игнорируется]
anonymous  29.03.2023, 15:40
[игнорируется]
ну можно всякие екстеншены поискать для постгри
Если безопасность разрешит экстеншены, то у меня плохие новости про этих безопасников :D
ну тогда все ручками, чо
иначе все скрипты и опен софт запрещены)
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337792
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А если посадить безопасников переносить данные руками из одной базы в другую? Уверен, это будет самый безопасный вариант. И чем больше привлеч безопасников, тем выше производительность такого решения.
...
Изменено: 29.03.2023, 17:25 - Кусь
Рейтинг: 6 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337815
anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кусь  29.03.2023, 17:25
[игнорируется]
А если посадить безопасников переносить данные руками из одной базы в другую? Уверен, это будет самый безопасный вариант. И чем больше привлеч безопасников, тем выше производительность такого решения.
это самый действенный и быстрый способ получить добро от безопасников [:grin]
...
Рейтинг: 2 / 0
Нравится: Гарыныч, Кусь
Кто чем делает миграцию данных из MSSQL в Postres?
    #337827
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Красивенько получилось ))))
етл.JPG
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337828
PaNik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
[не активирован]
[неодобрен]
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
нет ли втут ДСП?
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337831
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PaNik  29.03.2023, 18:25
[игнорируется]
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
нет ли втут ДСП?
Штааа?
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337832
sergey11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
Дед-Папыхтет  29.03.2023, 18:37
[игнорируется]
PaNik  29.03.2023, 18:25
[игнорируется]
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
нет ли втут ДСП?
Штааа?
древесно-стружечная плита
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337833
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
[заблокирован: 2 дн. 16 час. 6 мин.]
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
красивое!
...
дед-пердед
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337834
Фотография Буся
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  29.03.2023, 18:37
[игнорируется]
PaNik  29.03.2023, 18:25
[игнорируется]
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
нет ли втут ДСП?
Штааа?
NDA
...
хвост есть продолжение кошки
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337835
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
[заблокирован: 2 дн. 16 час. 6 мин.]
Буся  29.03.2023, 18:46
[игнорируется]
Дед-Папыхтет  29.03.2023, 18:37
[игнорируется]
PaNik  29.03.2023, 18:25
[игнорируется]
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
нет ли втут ДСП?
Штааа?
NDA
https://trends.rbc.ru/trends/social/62fcc7dc9a79473bc1f56270
...
дед-пердед
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337911
anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
и чем это отличается от прямого линка? - ничем))
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337912
PaNik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
[не активирован]
[неодобрен]
anonymous  29.03.2023, 20:58
[игнорируется]
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
и чем это отличается от прямого линка? - ничем))
прямой линк СБ забороняє
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337913
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
anonymous  29.03.2023, 20:58
[игнорируется]
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
и чем это отличается от прямого линка? - ничем))
нуууу это не прямой линк это как приложение тащит с источника и хуячит в приемник, если требуется преобразования делает...
у всяких подобных ЕТЛ программ есть неоспоримые преимущества.

1. визуальность мышкатыкание - для многих это минус, меня раздражало сильно писать не код а хуярить всё мышкой, но аналитикам такая визуальность по душе сильно.
2. очень легко параллелить процессы - прямоугольник куда не заходит стрелка независим от других подобных. Стрелка обозначает - порядок выполнения. Часто когда нужно загрузить несколько таблиц - их в таком пакете стартуешь не по порядку а одновременно. Ну на мой взгляд здесь проще, нежели в джаве городит потомки тредов и всяко извращаться.
3. быстрота переливки больших объемов - bulk insert поддержка - пакетная переливка.

Вообще SSIS, Pentahoo, Informatika примерно одна хуйня и назначение - переливка данных из источников в приемники... ну как бы специализированное средство...

Не факт что безопасники такое пропустят, если не пропустят ну перепишу скриптом...
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337929
sergey11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
Дед-Папыхтет  29.03.2023, 21:05
[игнорируется]
anonymous [игнорируется] 

нуууу это не прямой линк это как приложение тащит с источника и хуячит в приемник, если требуется преобразования делает...
у всяких подобных ЕТЛ программ есть неоспоримые преимущества.

1. визуальность мышкатыкание - для многих это минус, меня раздражало сильно писать не код а хуярить всё мышкой, но аналитикам такая визуальность по душе сильно.
2. очень легко параллелить процессы - прямоугольник куда не заходит стрелка независим от других подобных. Стрелка обозначает - порядок выполнения. Часто когда нужно загрузить несколько таблиц - их в таком пакете стартуешь не по порядку а одновременно. Ну на мой взгляд здесь проще, нежели в джаве городит потомки тредов и всяко извращаться.
3. быстрота переливки больших объемов - bulk insert поддержка - пакетная переливка.

Вообще SSIS, Pentahoo, Informatika примерно одна хуйня и назначение - переливка данных из источников в приемники... ну как бы специализированное средство...

Не факт что безопасники такое пропустят, если не пропустят ну перепишу скриптом...
А что может смущать безопасников?
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337936
anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  29.03.2023, 21:05
[игнорируется]
anonymous  29.03.2023, 20:58
[игнорируется]
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
и чем это отличается от прямого линка? - ничем))
нуууу это не прямой линк это как приложение тащит с источника и хуячит в приемник, если требуется преобразования делает...
у всяких подобных ЕТЛ программ есть неоспоримые преимущества.

1. визуальность мышкатыкание - для многих это минус, меня раздражало сильно писать не код а хуярить всё мышкой, но аналитикам такая визуальность по душе сильно.
2. очень легко параллелить процессы - прямоугольник куда не заходит стрелка независим от других подобных. Стрелка обозначает - порядок выполнения. Часто когда нужно загрузить несколько таблиц - их в таком пакете стартуешь не по порядку а одновременно. Ну на мой взгляд здесь проще, нежели в джаве городит потомки тредов и всяко извращаться.
3. быстрота переливки больших объемов - bulk insert поддержка - пакетная переливка.

Вообще SSIS, Pentahoo, Informatika примерно одна хуйня и назначение - переливка данных из источников в приемники... ну как бы специализированное средство...

Не факт что безопасники такое пропустят, если не пропустят ну перепишу скриптом...
в любом случае эта борода устанавливает 2 коннекта и гонит данные через некий "буфер", что проигрывает булку или прямому переносу
я ей пользовался, но удобно, когда надо либо быстро что-то набросать, либо создать некую схему порядков выполнения, условий и прочего
в постгрессе аналог булк инсерта есть при заливки из файлов, остальное обычный инсерт (сам не проверял, но на курсах так объясняли)
если же нужно лить большие таблицы на постоянной основе без каких-то изъебов я бы выбрал прямой линк или файлы csv

написанный скрипт в целом будет делать тоже самое
...
Изменено: 29.03.2023, 22:00 - anonymous
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337938
anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sergey11  29.03.2023, 21:44
[игнорируется]
Дед-Папыхтет  29.03.2023, 21:05
[игнорируется]
anonymous [игнорируется] 

нуууу это не прямой линк это как приложение тащит с источника и хуячит в приемник, если требуется преобразования делает...
у всяких подобных ЕТЛ программ есть неоспоримые преимущества.

1. визуальность мышкатыкание - для многих это минус, меня раздражало сильно писать не код а хуярить всё мышкой, но аналитикам такая визуальность по душе сильно.
2. очень легко параллелить процессы - прямоугольник куда не заходит стрелка независим от других подобных. Стрелка обозначает - порядок выполнения. Часто когда нужно загрузить несколько таблиц - их в таком пакете стартуешь не по порядку а одновременно. Ну на мой взгляд здесь проще, нежели в джаве городит потомки тредов и всяко извращаться.
3. быстрота переливки больших объемов - bulk insert поддержка - пакетная переливка.

Вообще SSIS, Pentahoo, Informatika примерно одна хуйня и назначение - переливка данных из источников в приемники... ну как бы специализированное средство...

Не факт что безопасники такое пропустят, если не пропустят ну перепишу скриптом...
А что может смущать безопасников?
любовь к коням
...
Рейтинг: 1 / 0
Нравится: Дед-Папыхтет
Кто чем делает миграцию данных из MSSQL в Postres?
    #337974
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 1
Не нравится: Королева Жезлов
Кто чем делает миграцию данных из MSSQL в Postres?
    #337977
anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кусь  29.03.2023, 23:40
[игнорируется]
тоже любили коней?
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337982
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
anonymous  29.03.2023, 23:52
[игнорируется]
Кусь  29.03.2023, 23:40
[игнорируется]
тоже любили коней?
Наверное, медленно переносили данные между базами
...
Рейтинг: 1 / 1
Нравится: Дед-Папыхтет
Не нравится: Королева Жезлов
Кто чем делает миграцию данных из MSSQL в Postres?
    #338076
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кусь  30.03.2023, 00:09
[игнорируется]
anonymous  29.03.2023, 23:52
[игнорируется]
Кусь  29.03.2023, 23:40
[игнорируется]
тоже любили коней?
Наверное, медленно переносили данные между базами
Вбивали руками со скриншотов )
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #338154
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  30.03.2023, 09:45
[игнорируется]
Кусь  30.03.2023, 00:09
[игнорируется]
anonymous  29.03.2023, 23:52
[игнорируется]
Кусь  29.03.2023, 23:40
[игнорируется]
тоже любили коней?
Наверное, медленно переносили данные между базами
Вбивали руками со скриншотов )
Смех смехом, а была история одна про это.
Была себе одна служба и работала она в рамках федерального округа. То есть в каждом федеральном округе своя служба со своими базами со своей автоматизацией и так далее. В рамках округа базы были разные, у кого-то распределённые, у кого-то централизованные, где-то была репликация, где-то не было, соответственно отчётность и учётность тоже сильно отличались. Решило руководство страны навести порядок в учёте, точнее если раньше службы брали деньги с клиентов себе, но часть переводили в бюджет, то теперь решили, что всё в бюджет, а на расходы службам по бюджетным заявкам возвращать.
Для наведения порядка было решено в плане учёта ТМЦ, зарплаты и прочей бухгалтерии перейти на единую платформу с общей БД. Платформа эта 1С естественно. У нас в округе тоже уже перешли на 1С какую-то к тому моменту, что не отменяло перехода глобального на 1С-ERP. Дошло дело до выгрузки остатков ТМЦ из баз округов в общую ERPу. Естественно это уже когда процессы оттестированы, планы счетов вбиты и частично, точнее все новые проводки идут уже в общей системе. Но для построения отчётности надо же остатки все сгрузить.
Собирается совещание. Вопрос хотели решить быстро и велели всем справочники номенклатуры выгрузить и нормас. Но тут выяснилось, как всегда внезапно, что справочника номенклатуры будет недостаточно, ибо ручка эрих краузе номенклатурно вроде бы одна, а вот в реализациях в округах этих ручек как у дурака фантиков, все эрих краузе, все внешне одинаковые, отличаются внезапно ценой. На каждую цену заводилась новая номенклатура, ну так вот. Естественно (на самом деле противоестественно) что у бухгалтера с головной свежеиспечённой организации возник вопрос почему цены на ручки разные, что за бардак и вообще это попахивает откатами всех расстрелять немедленно! Бухгалтеры на местах сказали, что это не бардак, а закупки в разные момент времени, ибо ручки не вечные и иногда (часто) приходится пополнять исчезающие запасы всей канцелярки, поэтому расстрелять надо сраных торгашей из миномётов!
На совещании присутствовала наша сотрудница, программист, специалист по бухгалтерским программам и она предложила сделать выгрузку из нашей системы в их в нужном виде, передать специалистам головной организации по защищённым каналам передачи данных, а те в свою очередь загрузят. Но был нюанс, нужно было определиться с параметрами выверки, как быть уверенным, что перенеслось всё и корректно. Для этого надо было сформировать отчётные документы за истекший период на окружных базах и на центральной в разрезе округов, затем сравнить циферки.
Ну как бы на мой взгляд оно логично.
Была на дворе пятница.
Далее был такой диалог.
Главбух центрального аппарата: - Не надо выгрузки, мои девочки забьют всю номенклатуру руками, так будет надёжнее.
Наша программист: - Но у нас например около 20 тысяч позиций номенклатуры, у других округов списки тоже немаленькие...
- А ничего страшного, за выходные справятся.
Вот так вот оно иногда (часто) бывает...
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #345043
PaNik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
[не активирован]
[неодобрен]
Ифрит  04.04.2023, 20:22
[игнорируется]
Горбатый ёж  29.03.2023, 15:43
[игнорируется]
Дед-Папыхтет  29.03.2023, 15:18
[игнорируется]
эксперты сказали что это не безопасно и всё - пиздарики
Ну так пусть руководство и пишет, что озвученным требованиям соответствует только ручной перенос данных.
Пусть набирают штат сотрудников для переноса и те будут тыкать клавиши.
как-то странно, безопасники - как раз и есть безопасные исполнители для разовых работ, недавно нужно было перенести дамп м/д общедоступной и секурной сетью, так вперёд, тащите по своим безопасным каналам... и перетащили ))
безопасники - это чтобы тебе проблем создать, видно ты не сталкивался
...
Изменено: 04.04.2023, 20:25 - PaNik
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #345078
Фотография Ифрит
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PaNik  04.04.2023, 20:24
[игнорируется]
Ифрит  04.04.2023, 20:22
[игнорируется]
Горбатый ёж  29.03.2023, 15:43
[игнорируется]
Дед-Папыхтет  29.03.2023, 15:18
[игнорируется]
эксперты сказали что это не безопасно и всё - пиздарики
Ну так пусть руководство и пишет, что озвученным требованиям соответствует только ручной перенос данных.
Пусть набирают штат сотрудников для переноса и те будут тыкать клавиши.
как-то странно, безопасники - как раз и есть безопасные исполнители для разовых работ, недавно нужно было перенести дамп м/д общедоступной и секурной сетью, так вперёд, тащите по своим безопасным каналам... и перетащили ))
безопасники - это чтобы тебе проблем создать, видно ты не сталкивался
ещё как, но иной раз (когда нужно сверху) можно и на этой кладбищенской кобыле покататься ))
...
Изменено: 04.04.2023, 20:36 - Ифрит
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #345252
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PaNik  04.04.2023, 20:24
[игнорируется]
безопасники - это чтобы тебе проблем создать
Конечно.
Потому что ты есть ни кто иной, как самая главная угроза безопасности. Ибо сказано, что основную угрозу составляет квалифицированный сотрудник организации, имеющий легальные доступы к информации.
Это же азбука информационной безопасности.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #345272
PaNik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
[не активирован]
[неодобрен]
Горбатый ёж  04.04.2023, 21:42
[игнорируется]
PaNik  04.04.2023, 20:24
[игнорируется]
безопасники - это чтобы тебе проблем создать
Конечно.
Потому что ты есть ни кто иной, как самая главная угроза безопасности. Ибо сказано, что основную угрозу составляет квалифицированный сотрудник организации, имеющий легальные доступы к информации.
Это же азбука информационной безопасности.
ну работа у них такая
...
Рейтинг: 1 / 0
Нравится: Горбатый ёж
Кто чем делает миграцию данных из MSSQL в Postres?
    #378172
Администратор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Администратор
Тема была перенесена из форума 'Просто Трёп'.
...
Администратор:
Тема была перенесена из форума 'Просто Трёп'.
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #476573
Sparrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
выгружать из ms sql надо утилитой bcp. Не может быть чтобы в постгрее не было средства эти файлы загрузить.

Может это :
https://www.postgresql.org/message-id/CAKJS1f_7eVMOFKva wwQSjqVoAmHaMa0kP4gyz1tW_pVYtTfNw@mail.gmail.com
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #476581
Sparrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ваши безопасники боятся сторонних утилит? Пиши свою. Формат файлов bcp совсем простой, там можно и csv.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #476939
Фотография Green
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
Ну в MS SQL есть средства миграции, вроде Integration Services.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #722482
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
На практике из MS SQL переносят или при помощи SSIS или tds_fdw.

Хорошо если готовая схема в PostgreSQL уже есть.

Данные нужно тащить вообще без индексов в целевых таблицах. Создавать их нужно потом. Ну в самом конце синхронизация последовательностей.
...
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
Рейтинг: 1 / 0
Нравится: megabyte
Кто чем делает миграцию данных из MSSQL в Postres?
    #725059
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вчера участвовал в миграции одного проекта с MS SQL. Так вот, они мигрировали своим коробочным мигратором. Я только триггеры отрубил перед миграцией. Так что все может быть готово от вендора.

Но скорость переноса данных - жесть. Это беда по моему всех миграторов. Как быстро переносить данные вообще мало кто знает. (Я знаю! :))) )
...
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
Изменено: 21.02.2024, 21:55 - Тень на плетень
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #725062
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тень на плетень  21.02.2024, 21:55
[игнорируется]
Вчера участвовал в миграции одного проекта с MS SQL. Так вот, они мигрировали своим коробочным мигратором. Я только триггеры отрубил перед миграцией. Так что все может быть готово от вендора.

Но скорость переноса данных - жесть. Это беда по моему всех миграторов. Как быстро переносить данные вообще мало кто знает. (Я знаю! :))) )
Ты просто замечательный мужик.
Ленинград - Геленджик (Sziget 2013)
...
Рейтинг: 1 / 0
Нравится: Гарыныч
Кто чем делает миграцию данных из MSSQL в Postres?
    #725066
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Сегодня настроил мигратор для еще одного проекта. Но там миграция из Оракла. Там где то 1.5 терабайт. Нужно перенести максимум за 5 часов. По факту наверное часа 2 будет норм. Схемы на этот раз не было, но сгененрил шаблон через ora2pg. В основном были нужны ограничения и индексы.

Перетаскивать данные буду через oracle_fdw примерно в 100 потоков, там у них 128 ядер.

Так что мигрируем проекты как пирожки :)))
...
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
Изменено: 21.02.2024, 22:12 - Тень на плетень
Рейтинг: 1 / 0
Нравится: Гарыныч
89 сообщений из 89, показаны все 4 страниц
Форумы / PostgreSQL [закрыт для гостей] / Кто чем делает миграцию данных из MSSQL в Postres?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (2): Анонимы (1), Yandex Bot 2 мин.
Игнорируют тему (1): erbol
Читали форум (3): Анонимы (2), Yandex Bot 2 мин.
Пользователи онлайн (114): Анонимы (110), Yandex Bot, Bing Bot 1 мин., Гарыныч 2 мин., Ветер 3 мин.
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]