|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Ну я вижу 3 пути указал выше... Ну рисовать микросервис для разовой загрузки глупо это как из пушки по воробьям... Как по мне самое простое 3 вариант - через файлы перегнать, но... в банке безопасники запрещают - типа не секурно и вообще нильзя - не объясним по чему, если сам не понимаешь, мы не виноваты что не понимаешь очевидного... можно конечно SSIS попробовать... чота бл попробовал - не видит дефалтово постгрес, создал даже ODBC DSN - тоже сука не видит ))) может какой ему драйвер специальный нужен? В общем пока ябуся с павершелом... загрузил в переменную resultset из запроса... и в таблицу построчно вставляю... Но чота блин 80 тыс строк меж мс-мс внутри сервера простая таблица - 0.1 сек переливается, в докер постгрес с помощью повершела - 3 минуты ))))))) ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2023, 17:38 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Копал бы в сторону штатных конекторов, желательно со стороны постгриса ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2023, 18:16 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2023, 18:22 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
#336297
Ссылка:
Ссылка на сообщение:
Ссылка с названием темы:
Ссылка на профиль пользователя:
Ссылка на вложение:
Ссылка на вложение 2:
|
|||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
#18+
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл МС игнорит постгрес ? Раньше к мсскл помнится целый кит шел довеском с хуевой тучей разных инструментов ... |
|||||||||||||||||||
:
Нравится:
Не нравится:
|
|||||||||||||||||||
27.03.2023, 18:35 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
еще есть утилита bcp.exe - bulk copy program с командной строки можно выгрузить из бд в цсв... но безопасники не разрешают )))) вроде как самое простое. Еще мысль была в мсскл сформировать запросом не select id, name from tbl а select 'insert tbl (id, name) values ('+id+','''+name+''')' from tbl - такую пердь на источнике... и сохранить результат в файл ))) но когда десять млн строк... чота я сомневаюсь что постгрес сможет такой скрипт отработать )))))))))) ну это еще хуже чем в цсв выгружать ... |
|||
:
Изменено: 27.03.2023, 18:38 - Дед-Папыхтет
Нравится:
Не нравится:
|
|||
27.03.2023, 18:37 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Я пока так заебенил... мс с дев контура, постгрес в докере локально - так тестю
Спойлер Код: PowerShell 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55.
... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2023, 18:43 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Ну... сегодня 100тыс - 1 млн строк десяток таблиц... А вот завтра может быть и история сделок... то есть лучше сразу как то быстрое решение искать на перспективу... ну может действительно пентахо качну ща ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2023, 19:08 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл Могу у разрабов спросить, что на текущем месте практикуется. Так то миграций у нас много сейчас с MSSQL на Postgresql. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.03.2023, 23:03 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
... Могу у разрабов спросить, что на текущем месте практикуется. Так то миграций у нас много сейчас с MSSQL на Postgresql. Спросил у одного разраба: informatica, но были проблемы с текстовыми полями. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 14:22 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
тебе просто данные перенести из таблиц или ты хочешь всю базу мигрировать? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:10 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
из платных могу посоветовать EMS Data Pump for PostgreSQL, если интересно могу рассказать, там есть свои + и - бесплатно, то базу можно мигрировать используя комбинацию tds_fdw + sqlserver2pgsql для начала sudo yum install tds_fdw_14 CREATE EXTENSION tds_fdw; CREATE SERVER mssql FOREIGN DATA WRAPPER tds_fdw OPTIONS (servername 'mssql', database ‘database', msg_handler 'notice'); CREATE USER MAPPING FOR postgres SERVER mssql OPTIONS (username ‘user', password 'password'); CREATE DATABASE new_db; CREATE SCHEMA new_schema; IMPORT FOREIGN SCHEMA dbo FROM SERVER mssql INTO new_schema OPTIONS (import_default 'true'); экспортируем структуру БД MSSQL через генерацию скрипта даем пожевать ее perl sqlserver2pgsql.pl -f tables.sql -b tables-before.sql -a tables-after.sql -u tables-unsure.sql на выходе получаем скрипты для постгри tables-before.sql – файл создания таблиц tables-after.sql – файл установки ограничений tables-unsure.sql – файл значений по умолчанию далее хуячим курсором DO $$ DECLARE rec RECORD; cur CURSOR FOR SELECT foreign_table_name FROM information_schema.foreign_tables; BEGIN OPEN cur; LOOP FETCH cur INTO rec; EXIT WHEN NOT FOUND; EXECUTE ('insert into public.'||lower(rec.foreign_table_name)||' select * from '||'public."'||rec.foreign_table_name||'"'||';'); END LOOP; CLOSE cur; END $$; на тестовом стенде проверял 300 гигов льет часа за 3 на сервере типа 4 ядра и 15 гигов ОЗУ ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:11 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
тебе просто данные перенести из таблиц или ты хочешь всю базу мигрировать? 1. несогласованный софт - типа пентахо или платная информатика - согласование через 7 кругов ада может длится полгода выступить на куче встреч и куче разных уровней начальникам доказать необходимость использования этого, далее проверка безов что это безопасно и банк не рискует )))) 2. уже безы запретили выгружать файлы и загружать - типа с мсскл в цсв выгрузить и в постгрес загрузить, всей истории не знаю да и насрать честно говоря, но что бы такое протолкнуть куча нервов своих, твоих руководителей и т.п. безопасники упёртые что пиздец. 3. дблинк или же линкед сервер по той же самой причине запретили. Выход, или что то свое писать на джава, скрипт баш павершел или что уже куплено и разрешено использовать. Ну раз мсскл у нас куплен, хоть мы и отказываемся, с мсскл идет ссис - вот им пока и пользуюсь. хотя... когда не будет мсскл не будет ссис и я бы наверное перелез сразу на пентаху... но пентаха пока не разрешена ))))))))))))))))) и не согласована ... |
|||
:
Изменено: 29.03.2023, 15:16 - Дед-Папыхтет
Нравится:
Не нравится:
|
|||
29.03.2023, 15:16 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Хотя вот... чобы не сделать экспорт импорт в цсв или хмл?... вроде самое простое... да и дблинк тоже прост, но видимо эксперты сказали что это не безопасно и всё - пиздарики ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:18 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
локально я всяко могу сделать на стенде тестовом или девелоперском или локально... а на прод хуй пустят ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:18 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Хотя вот... чобы не сделать экспорт импорт в цсв или хмл?... вроде самое простое... да и дблинк тоже прост, но видимо эксперты сказали что это не безопасно и всё - пиздарики дайте пользователю права в MSSQL только на select из базы, а на постгре, только insert Но... когда то видимо давным давно что бе не ебаца с правами давали учетки сервиса права сисадмина, щас в банке дают права владельца бд на БД, ладно хоть не на сервер. И видимо такие права и не безопасны )))) Я просто предполагаю, что руководящие лица принимающие решения не знают что можно права давать на отдельно взятые таблицы, может даже и знают, но не хотят связываться - сказано так делать - так и делаем. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:23 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
на эту тему вспомнился мем: В конторе прорвало канализацию. Срочно собрали членов правления АО.
Типа оперативный штаб. После проверки все ли собрались, председательствующий спросил: а в чём причина аварии - мы мало проводим совещаний или они неэффективны? ну очень похоже на совещания когда начальники отделов-департаментов собираются... |
|
:
|
|
29.03.2023, 15:25 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
#337827
Ссылка:
Ссылка на сообщение:
Ссылка с названием темы:
Ссылка на профиль пользователя:
Ссылка на вложение:
|
||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
#18+
... |
||||||||||||||||
:
Нравится:
Не нравится:
|
||||||||||||||||
29.03.2023, 18:22 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Штааа? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 18:37 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
и чем это отличается от прямого линка? - ничем)) у всяких подобных ЕТЛ программ есть неоспоримые преимущества. 1. визуальность мышкатыкание - для многих это минус, меня раздражало сильно писать не код а хуярить всё мышкой, но аналитикам такая визуальность по душе сильно. 2. очень легко параллелить процессы - прямоугольник куда не заходит стрелка независим от других подобных. Стрелка обозначает - порядок выполнения. Часто когда нужно загрузить несколько таблиц - их в таком пакете стартуешь не по порядку а одновременно. Ну на мой взгляд здесь проще, нежели в джаве городит потомки тредов и всяко извращаться. 3. быстрота переливки больших объемов - bulk insert поддержка - пакетная переливка. Вообще SSIS, Pentahoo, Informatika примерно одна хуйня и назначение - переливка данных из источников в приемники... ну как бы специализированное средство... Не факт что безопасники такое пропустят, если не пропустят ну перепишу скриптом... ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 21:05 |
|
|
Start [/forum/search.php?do_search=1&tid=8476&author_mode=wrote_post&author=%D0%94%D0%B5%D0%B4-%D0%9F%D0%B0%D0%BF%D1%8B%D1%85%D1%82%D0%B5%D1%82&start_from=336267]: |
0ms |
get settings: |
0ms |
get forum list: |
4ms |
searching: |
8ms |
get settings: |
0ms |
get forum list: |
5ms |
get topic data: |
6ms |
check forum access: |
0ms |
check topic access: |
0ms |
get forum data: |
1ms |
get found posts: |
38ms |
track hit: |
29ms |
get online users: |
55ms |
check new: |
1ms |
others: | 244ms |
total: | 391ms |
0 / 0 |