powered by simpleCommunicator - 2.0.18     © 2024 Programmizd 02
Map
Форумы / NoSQL, Big Data [закрыт для гостей] / Будущее Teradata
6 сообщений из 6, страница 1 из 1
Будущее Teradata
    #186094
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
Какие мнения по поводу будущего сабжа и им подобных Vertica, Greenplum на фоне облачных SaaS решений типа Snowflake, Databricks, Azure и т.п.?
...
Рейтинг: 0 / 0
Будущее Teradata
    #190630
reload
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кусь  16.10.2022, 12:29
[игнорируется]
Какие мнения по поводу будущего сабжа и им подобных Vertica, Greenplum на фоне облачных SaaS решений типа Snowflake, Databricks, Azure и т.п.?
Databricks всех зарулит. Greenplum совсем стандартная рдбмс, Vertica некий eon mode запилили пару лет назад, отделив процессинг от сториджа, научили на hdfs/s3/alds файлики с данными держать, но в душе все же все та же mpp субд с fk, настоящими транзакциями, индексами. azure это облако, мс проталкивает azure synapse - франкинштейн из mpp варианта mssql, hadoop и spark ... дорого и не понятно в чем сильная сторона такого гибрида. а вот Dtabaricks делают чуваки, что сделали spark пилят, более оптимизированный вариант spark, со своим sql движком. можно полноценные жава программы разрабатывать локально, с юнит тестами, с интегрейшен тестами, но деплоить у датабрикса. можно подрубить любую либу и разбросать вычисления по узлам executors. по мне это пара шагов от остальных, включая Snowflake. Snowflake на сколько я знаю просто sql движок, где можно лишь свои функции оформить.
...
Рейтинг: 1 / 0
Нравится: Кусь
Будущее Teradata
    #190690
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
reload  19.10.2022, 21:51
[игнорируется]
Кусь  16.10.2022, 12:29
[игнорируется]
Какие мнения по поводу будущего сабжа и им подобных Vertica, Greenplum на фоне облачных SaaS решений типа Snowflake, Databricks, Azure и т.п.?
Dtabaricks делают чуваки, что сделали spark пилят, более оптимизированный вариант spark, со своим sql движком. можно полноценные жава программы разрабатывать локально, с юнит тестами, с интегрейшен тестами, но деплоить у датабрикса. можно подрубить любую либу и разбросать вычисления по узлам executors.
Плюс пилят Delta Lake со своими транзакциями и версионированием. А ещё можно одновременно процессить как батчи, так и стриминг без всяких лямбда-архитектур.
Вообще, Databricks радует, это точно. У Snowflake есть свои приятные плюшки, но меньше свободы, имхо
...
Изменено: 20.10.2022, 00:15 - Кусь
Рейтинг: 0 / 0
Будущее Teradata
    #287769
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
reload  19.10.2022, 21:51
[игнорируется]
Snowflake на сколько я знаю просто sql движок, где можно лишь свои функции оформить.
У Snowflake появился Snowpark, там теперь не только UDF, но можно и pipelines писать на разных языках (Scala, Java, Python). Да, это всё потом транслируется в SQL и улетает в Snowflake на исполнение. Есть ряд ограничений и сделано это скорее для бесшовного переноса DataFrame пайплайнов со спарка.
...
Рейтинг: 0 / 0
Будущее Teradata
    #701502
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
reload  19.10.2022, 21:51
[игнорируется]
можно полноценные жава программы разрабатывать локально, с юнит тестами, с интегрейшен тестами, но деплоить у датабрикса. можно подрубить любую либу и разбросать вычисления по узлам executors. по мне это пара шагов от остальных, включая Snowflake. Snowflake на сколько я знаю просто sql движок, где можно лишь свои функции оформить.
В Snowflake тоже можно деплоить полноценные жава программы (посредством .jar), разработанные локально.
Потом на базе них можно создавать UDF и вызывать из SQL, Java или Python в Snowflake или запускать через Snowpark.

https://dbaontap.com/2022/08/03/snowflake-java-udf-with-jar-streamlit-bonus/

Для кастомных Python пакетов тоже есть решение, только вместо .jar-ника пакет пакуется в .zip и отправляется в Snowflake, где может быть использован либо при создании User Defined Functions/Procedures, либо импортрироваться в код как обычно через import my_package

https://medium.com/snowflake/using-other-python-packages-in-snowpark-a6fd75e4b23a

P.S. Snowflake радует. ))
...
Изменено: 13.01.2024, 13:26 - Хуй в носке
Рейтинг: 0 / 0
Будущее Teradata
    #712686
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
В Snowflake появился свой Database Change Management (DCM) инструмент, работающий нативно как с Git (version control), так и с Github Actions (CI/CD). В отличии от Snowchange, который был императивным, эта штука работает декларативно, просто приводя объект к нужному состоянию (как Terraform), при этом не требует установки сторонних тулов (того же Terraform).

Snowflake is launching a set of features to facilitate better DevOps during the process of building pipelines, models and apps. This video features a demonstration of how Snowflake’s new declarative database change management features allow you to store your Snowflake objects definitions in source control and deploy them natively through Snowflake. It also demonstrates how to leverage Snowflake Git integration and CLI to accelerate your development and release cycles.
Snowflake BUILD | The Future Of DevOps With Snowflake
...
Изменено: 29.01.2024, 01:31 - Кусь
Рейтинг: 0 / 0
6 сообщений из 6, страница 1 из 1
Форумы / NoSQL, Big Data [закрыт для гостей] / Будущее Teradata
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (1): Анонимы (1)
Читали форум (1): Анонимы (1)
Пользователи онлайн (28): Анонимы (22), Пингвин, Yandex Bot, anonymous 4 мин., IT-Клоп 5 мин., Кусь 6 мин., Bing Bot 7 мин.
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]