|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
тебе просто данные перенести из таблиц или ты хочешь всю базу мигрировать? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 14:59 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
из платных могу посоветовать EMS Data Pump for PostgreSQL, если интересно могу рассказать, там есть свои + и - бесплатно, то базу можно мигрировать используя комбинацию tds_fdw + sqlserver2pgsql для начала sudo yum install tds_fdw_14 CREATE EXTENSION tds_fdw; CREATE SERVER mssql FOREIGN DATA WRAPPER tds_fdw OPTIONS (servername 'mssql', database ‘database', msg_handler 'notice'); CREATE USER MAPPING FOR postgres SERVER mssql OPTIONS (username ‘user', password 'password'); CREATE DATABASE new_db; CREATE SCHEMA new_schema; IMPORT FOREIGN SCHEMA dbo FROM SERVER mssql INTO new_schema OPTIONS (import_default 'true'); экспортируем структуру БД MSSQL через генерацию скрипта даем пожевать ее perl sqlserver2pgsql.pl -f tables.sql -b tables-before.sql -a tables-after.sql -u tables-unsure.sql на выходе получаем скрипты для постгри tables-before.sql – файл создания таблиц tables-after.sql – файл установки ограничений tables-unsure.sql – файл значений по умолчанию далее хуячим курсором DO $$ DECLARE rec RECORD; cur CURSOR FOR SELECT foreign_table_name FROM information_schema.foreign_tables; BEGIN OPEN cur; LOOP FETCH cur INTO rec; EXIT WHEN NOT FOUND; EXECUTE ('insert into public.'||lower(rec.foreign_table_name)||' select * from '||'public."'||rec.foreign_table_name||'"'||';'); END LOOP; CLOSE cur; END $$; на тестовом стенде проверял 300 гигов льет часа за 3 на сервере типа 4 ядра и 15 гигов ОЗУ ... |
|
:
|
|
29.03.2023, 15:07 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
p.s. это касаемо данных индексы, вторичные ключи, ограничения - там уже своя ебля ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:10 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
тебе просто данные перенести из таблиц или ты хочешь всю базу мигрировать? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:10 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
а, забыл уточнить EMS Data Pump for PostgreSQL есть демо режим 30 дней, только он переносит 10% от данных в этом режиме ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:16 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
тебе просто данные перенести из таблиц или ты хочешь всю базу мигрировать? 1. несогласованный софт - типа пентахо или платная информатика - согласование через 7 кругов ада может длится полгода выступить на куче встреч и куче разных уровней начальникам доказать необходимость использования этого, далее проверка безов что это безопасно и банк не рискует )))) 2. уже безы запретили выгружать файлы и загружать - типа с мсскл в цсв выгрузить и в постгрес загрузить, всей истории не знаю да и насрать честно говоря, но что бы такое протолкнуть куча нервов своих, твоих руководителей и т.п. безопасники упёртые что пиздец. 3. дблинк или же линкед сервер по той же самой причине запретили. Выход, или что то свое писать на джава, скрипт баш павершел или что уже куплено и разрешено использовать. Ну раз мсскл у нас куплен, хоть мы и отказываемся, с мсскл идет ссис - вот им пока и пользуюсь. хотя... когда не будет мсскл не будет ссис и я бы наверное перелез сразу на пентаху... но пентаха пока не разрешена ))))))))))))))))) и не согласована все остальное - либо файлы, либо прямой линк ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:19 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Хотя вот... чобы не сделать экспорт импорт в цсв или хмл?... вроде самое простое... да и дблинк тоже прост, но видимо эксперты сказали что это не безопасно и всё - пиздарики дайте пользователю права в MSSQL только на select из базы, а на постгре, только insert ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:20 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Хотя вот... чобы не сделать экспорт импорт в цсв или хмл?... вроде самое простое... да и дблинк тоже прост, но видимо эксперты сказали что это не безопасно и всё - пиздарики дайте пользователю права в MSSQL только на select из базы, а на постгре, только insert Но... когда то видимо давным давно что бе не ебаца с правами давали учетки сервиса права сисадмина, щас в банке дают права владельца бд на БД, ладно хоть не на сервер. И видимо такие права и не безопасны )))) Я просто предполагаю, что руководящие лица принимающие решения не знают что можно права давать на отдельно взятые таблицы, может даже и знают, но не хотят связываться - сказано так делать - так и делаем. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:25 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
на эту тему вспомнился мем: В конторе прорвало канализацию. Срочно собрали членов правления АО.
Типа оперативный штаб. После проверки все ли собрались, председательствующий спросил: а в чём причина аварии - мы мало проводим совещаний или они неэффективны? ну очень похоже на совещания когда начальники отделов-департаментов собираютсяпри этом дошло до смешного, принимать решение не хотят, поэтому у меня нет работы, но с меня же требуют отчета о проделанной работе, в итоге сижу рисую хуи ... |
|
:
|
|
29.03.2023, 15:28 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
миграция с мсскл - ссис у нас уже есть По моему опыту всякие ODBC, особенно некоммерческие, могут имет ограничения на предмет записи данных в удалённый приёмник, а вот с чтением как правило проблем очень мало. Так что если льёшь в посгрес, то и использовать надо средства посгреса. ИМХО. ... |
|
:
|
|
29.03.2023, 15:40 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
ну можно всякие екстеншены поискать для постгри иначе все скрипты и опен софт запрещены) ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:49 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
А если посадить безопасников переносить данные руками из одной базы в другую? Уверен, это будет самый безопасный вариант. И чем больше привлеч безопасников, тем выше производительность такого решения. ... |
|
:
|
|
29.03.2023, 18:07 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
и чем это отличается от прямого линка? - ничем)) ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 20:58 |
|
PostgreSQL / Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
и чем это отличается от прямого линка? - ничем)) у всяких подобных ЕТЛ программ есть неоспоримые преимущества. 1. визуальность мышкатыкание - для многих это минус, меня раздражало сильно писать не код а хуярить всё мышкой, но аналитикам такая визуальность по душе сильно. 2. очень легко параллелить процессы - прямоугольник куда не заходит стрелка независим от других подобных. Стрелка обозначает - порядок выполнения. Часто когда нужно загрузить несколько таблиц - их в таком пакете стартуешь не по порядку а одновременно. Ну на мой взгляд здесь проще, нежели в джаве городит потомки тредов и всяко извращаться. 3. быстрота переливки больших объемов - bulk insert поддержка - пакетная переливка. Вообще SSIS, Pentahoo, Informatika примерно одна хуйня и назначение - переливка данных из источников в приемники... ну как бы специализированное средство... Не факт что безопасники такое пропустят, если не пропустят ну перепишу скриптом... я ей пользовался, но удобно, когда надо либо быстро что-то набросать, либо создать некую схему порядков выполнения, условий и прочего в постгрессе аналог булк инсерта есть при заливки из файлов, остальное обычный инсерт (сам не проверял, но на курсах так объясняли) если же нужно лить большие таблицы на постоянной основе без каких-то изъебов я бы выбрал прямой линк или файлы csv написанный скрипт в целом будет делать тоже самое ... |
|||
:
Изменено: 29.03.2023, 22:00 - anonymous
Нравится:
Не нравится:
|
|||
29.03.2023, 22:00 |
|
|
Start [/forum/search.php?do_search=1&tid=8476&author_mode=wrote_post&author=anonymous&start_from=337705]: |
0ms |
get settings: |
1ms |
get forum list: |
4ms |
searching: |
12ms |
get settings: |
1ms |
get forum list: |
5ms |
get topic data: |
5ms |
check forum access: |
1ms |
check topic access: |
1ms |
get forum data: |
1ms |
get found posts: |
37ms |
track hit: |
28ms |
get online users: |
41ms |
check new: |
1ms |
others: | 229ms |
total: | 367ms |
0 / 0 |