Fosstodon

Habr[Перевод] Мониторинг и управление воркфлоу между взаимодействующими микросервисамиКак получить прозрачность в бизнес-процессах, если архитектура строится на микросервисах и событийных потоках? В своей статье Бернд Рюкер, сооснователь Camunda, делится практическими подходами к отслеживанию и управлению процессами в распределённых системах. Он объясняет, как переход от простого мониторинга событий к полноценной оркестрации помогает лучше понимать происходящее, своевременно реагировать на инциденты и сохранять контроль над сложными бизнес-операциями. В статье разбираются плюсы и минусы различных подходов — от Elastic-подобного мониторинга до использования движков рабочих процессов, а также рассматривается важность баланса между оркестрацией и хореографией.<a href="https://habr.com/ru/articles/926542/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/926542/</a><a href="https://zhub.link/tags/microservices" class="mention hashtag" rel="nofollow noopener" target="_blank">#microservices</a> <a href="https://zhub.link/tags/orchestration" class="mention hashtag" rel="nofollow noopener" target="_blank">#orchestration</a> <a href="https://zhub.link/tags/choreography" class="mention hashtag" rel="nofollow noopener" target="_blank">#choreography</a> <a href="https://zhub.link/tags/workflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#workflow</a> <a href="https://zhub.link/tags/bpmn" class="mention hashtag" rel="nofollow noopener" target="_blank">#bpmn</a> <a href="https://zhub.link/tags/process_mining" class="mention hashtag" rel="nofollow noopener" target="_blank">#process_mining</a> <a href="https://zhub.link/tags/kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#kafka</a> <a href="https://zhub.link/tags/camunda" class="mention hashtag" rel="nofollow noopener" target="_blank">#camunda</a> <a href="https://zhub.link/tags/data_lake" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_lake</a>

HabrТестирование систем и движков массивно-параллельных вычислений. Часть II. TPC-DSПривет! Сегодня я продолжаю тему сравнения систем и движков массивных параллельных вычислений. В прошлой публикации я раскрыл основные принципы проведения тестирования, которыми руководствуется наша команда, и привел результаты как реальных промышленных сценариев, так и синтетических тестов. Материал вызвал интерес и дискуссию: значит, он актуальный и полезный. Для кого-то факты стали убедительными, а кто-то усомнился в объективности результатов, поэтому, как и было обещано, я делюсь материалами сравнительного тестирования, выполненного по общепринятому стандарту TPC-DS. Сегодня вы узнаете, повлияла ли смена методики на результаты.<a href="https://habr.com/ru/companies/datasapience/articles/921882/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/datasapience/articles/921882/</a><a href="https://zhub.link/tags/trino" class="mention hashtag" rel="nofollow noopener" target="_blank">#trino</a> <a href="https://zhub.link/tags/impala" class="mention hashtag" rel="nofollow noopener" target="_blank">#impala</a> <a href="https://zhub.link/tags/greenplum" class="mention hashtag" rel="nofollow noopener" target="_blank">#greenplum</a> <a href="https://zhub.link/tags/lakehouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#lakehouse</a> <a href="https://zhub.link/tags/bigdata" class="mention hashtag" rel="nofollow noopener" target="_blank">#bigdata</a> <a href="https://zhub.link/tags/mpp" class="mention hashtag" rel="nofollow noopener" target="_blank">#mpp</a> <a href="https://zhub.link/tags/dwh" class="mention hashtag" rel="nofollow noopener" target="_blank">#dwh</a> <a href="https://zhub.link/tags/tpcds" class="mention hashtag" rel="nofollow noopener" target="_blank">#tpcds</a> <a href="https://zhub.link/tags/data" class="mention hashtag" rel="nofollow noopener" target="_blank">#data</a> <a href="https://zhub.link/tags/data_lake" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_lake</a>

HabrВлияние маленьких файлов на Big Data: HDFS vs S3Привет, Хабр! Я Станислав Габдулгазиев, архитектор департамента поддержки продаж Arenadata. В этой статье рассмотрим, как большое количество мелких файлов влияет на производительность различных систем хранения, таких как HDFS и объектные хранилища с S3 API. Разберём, какие технологии хранения лучше всего подходят для работы с мелкими файлами в архитектурах Data Lake и Lakehouse . Сравним производительность HDFS и объектных хранилищ с S3 API . На конкретных тестах покажем, почему именно HDFS эффективнее справляется с большим количеством небольших файлов. Обсудим также случаи, когда мелкие файлы становятся не просто нежелательной ситуацией, а неизбежной необходимостью, например в подходах типа Change Data Capture (CDC). Тесты, графики, инсайды<a href="https://habr.com/ru/companies/arenadata/articles/915684/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/arenadata/articles/915684/</a><a href="https://zhub.link/tags/bigdata" class="mention hashtag" rel="nofollow noopener" target="_blank">#bigdata</a> <a href="https://zhub.link/tags/hdfs" class="mention hashtag" rel="nofollow noopener" target="_blank">#hdfs</a> <a href="https://zhub.link/tags/s3" class="mention hashtag" rel="nofollow noopener" target="_blank">#s3</a> <a href="https://zhub.link/tags/hadoop" class="mention hashtag" rel="nofollow noopener" target="_blank">#hadoop</a> <a href="https://zhub.link/tags/data_lake" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_lake</a> <a href="https://zhub.link/tags/lakehouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#lakehouse</a> <a href="https://zhub.link/tags/impala" class="mention hashtag" rel="nofollow noopener" target="_blank">#impala</a> <a href="https://zhub.link/tags/spark" class="mention hashtag" rel="nofollow noopener" target="_blank">#spark</a> <a href="https://zhub.link/tags/%D1%85%D1%80%D0%B0%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#хранение</a> <a href="https://zhub.link/tags/minio" class="mention hashtag" rel="nofollow noopener" target="_blank">#minio</a>

HabrКак не утонуть в данных: выбираем между DWH, Data Lake и LakehouseПривет, Хабр! Меня зовут Алексей Струченко, я работаю архитектором информационных систем в Arenadata. Сегодня хотелось бы поговорить о хранилищах данных — их видах, ключевых особенностях и о том, как выбрать подходящее решение. В эпоху цифровой трансформации данные стали одним из самых ценных активов для компаний любого масштаба и сферы деятельности. Эффективное хранение, обработка и анализ больших объёмов данных помогают организациям принимать обоснованные решения, повышать операционную эффективность и создавать конкурентные преимущества. Однако с ростом объёмов данных и усложнением их структуры традиционные методы хранения сталкиваются с ограничениями. В этой статье мы подробно рассмотрим подходы к хранению данных: Data Warehouse (DWH) , Data Lake и относительно новую концепцию Lakehouse . Разберем их особенности, различия, преимущества и недостатки, а также предложим рекомендации по выбору каждого подхода. Всплыть<a href="https://habr.com/ru/companies/arenadata/articles/885722/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/arenadata/articles/885722/</a><a href="https://zhub.link/tags/dwh" class="mention hashtag" rel="nofollow noopener" target="_blank">#dwh</a> <a href="https://zhub.link/tags/data_lake" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_lake</a> <a href="https://zhub.link/tags/lakehouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#lakehouse</a> <a href="https://zhub.link/tags/%D1%85%D1%80%D0%B0%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#хранение_данных</a> <a href="https://zhub.link/tags/big_data" class="mention hashtag" rel="nofollow noopener" target="_blank">#big_data</a> <a href="https://zhub.link/tags/%D0%B0%D0%B4%D0%BC%D0%B8%D0%BD%D0%B8%D1%81%D1%82%D1%80%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%B1%D0%B4" class="mention hashtag" rel="nofollow noopener" target="_blank">#администрирование_бд</a> <a href="https://zhub.link/tags/%D0%B1%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#базы_данных</a> <a href="https://zhub.link/tags/%D0%BE%D0%B7%D0%B5%D1%80%D0%BE_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#озеро_данных</a> <a href="https://zhub.link/tags/spark" class="mention hashtag" rel="nofollow noopener" target="_blank">#spark</a> <a href="https://zhub.link/tags/hadoop" class="mention hashtag" rel="nofollow noopener" target="_blank">#hadoop</a>

HabrДанные на льду: как Apache Iceberg перевернул мир аналитических системВы когда-нибудь ловили себя на мысли, что ваш Data Lake больше похож на черный ящик, чем на систему хранения? Дубли, потерянные версии, медленные запросы — вместо четкой структуры хаос, который только растет. Добро пожаловать в реальность работы с Parquet, ORC и классическими подходами к хранению данных. Они неплохи, но не умеют версионировать, оптимизировать и управлять транзакциями так, как это действительно нужно. И вот появляется Apache Iceberg — файловый формат, который уже используют в Netflix, Apple, LinkedIn и Stripe для хранения петабайтов данных с минимальными издержками на поддержку. Но что делает его таким особенным? Почему его называют «Data Lake без боли»? И самое главное — как заставить Apache Iceberg работать на вас? Давайте разбираться.<a href="https://habr.com/ru/companies/selectel/articles/875472/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/selectel/articles/875472/</a><a href="https://zhub.link/tags/selectel" class="mention hashtag" rel="nofollow noopener" target="_blank">#selectel</a> <a href="https://zhub.link/tags/apache" class="mention hashtag" rel="nofollow noopener" target="_blank">#apache</a> <a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D1%82%D0%B8%D0%BA%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#аналитика</a> <a href="https://zhub.link/tags/data_lake" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_lake</a>

HabrОзеро для дата-склада: как мы нырнули в новые методы хранения данных и что из этого вышлоПривет, Хабр! Меня зовут Михаил Килинский, я — Senior Developer в проекте Data Warehouse «Лаборатории Касперского». Наша команда строит хранилища данных и разрабатывает ETL- и ELT-процессы, мы пишем на Python, SQL и C# (.NET), а весь код находится в монорепозитории . Гибкие методологии построения хранилищ данных — очень популярный тренд. Причина — возрастающая сложность корпоративных моделей данных и необходимость интеграции большого числа разнородных источников, которые включают в себя не только традиционные СУБД и плоские файлы, но и различные real-time-брокеры сообщений, внешние API и базы данных NoSQL. В этой статье хочу рассказать, как мы изначально хранили данные, почему решили внедрить методологии Data Lake и Data Vault и к чему это привело. Кроме того, покажу, как мы изобрели свой велосипед разработали свой фреймворк по автоматизации работы с помощью модели Data Vault.<a href="https://habr.com/ru/articles/876834/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/876834/</a><a href="https://zhub.link/tags/dwh" class="mention hashtag" rel="nofollow noopener" target="_blank">#dwh</a> <a href="https://zhub.link/tags/data_warehouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_warehouse</a> <a href="https://zhub.link/tags/data_lake" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_lake</a> <a href="https://zhub.link/tags/%D1%85%D1%80%D0%B0%D0%BD%D0%B8%D0%BB%D0%B8%D1%89%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#хранилище_данных</a> <a href="https://zhub.link/tags/%D0%BA%D0%BE%D1%80%D0%BF%D0%BE%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D0%BE%D0%B5_%D1%85%D1%80%D0%B0%D0%BD%D0%B8%D0%BB%D0%B8%D1%89%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#корпоративное_хранилище_данных</a> <a href="https://zhub.link/tags/%D0%B0%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#архитектура_данных</a> <a href="https://zhub.link/tags/%D0%B1%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#базы_данных</a> <a href="https://zhub.link/tags/%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#данные</a> <a href="https://zhub.link/tags/data" class="mention hashtag" rel="nofollow noopener" target="_blank">#data</a> <a href="https://zhub.link/tags/data_engineering" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_engineering</a>

HabrData driven на практике: с чего начать, как избежать ошибок и эффективно применятьПривет, меня зовут Александр Окороков , я основатель и генеральный директор ИТ-компании и автор медиа вАЙТИ . Мы помогаем заказчикам выстроить оптимальную стратегию принятия управленческих решений, чтобы эффективно использовать ресурсы и не терять деньги. Именно эту задачу решает data-driven-подход к принятию решений и управлению продуктом с опорой на данные.<a href="https://habr.com/ru/companies/beeline_cloud/articles/867292/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/beeline_cloud/articles/867292/</a><a href="https://zhub.link/tags/datadriven" class="mention hashtag" rel="nofollow noopener" target="_blank">#datadriven</a> <a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D1%82%D0%B8%D0%BA%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#аналитика_данных</a> <a href="https://zhub.link/tags/%D1%86%D0%B8%D1%84%D1%80%D0%BE%D0%B2%D0%B0%D1%8F_%D1%82%D1%80%D0%B0%D0%BD%D1%81%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#цифровая_трансформация</a> <a href="https://zhub.link/tags/%D0%B1%D0%B8%D0%B7%D0%BD%D0%B5%D1%81%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D1%82%D0%B8%D0%BA%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#бизнесаналитика</a> <a href="https://zhub.link/tags/data_lake" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_lake</a> <a href="https://zhub.link/tags/%D1%86%D0%B8%D1%84%D1%80%D0%BE%D0%B2%D1%8B%D0%B5_%D0%B4%D0%B2%D0%BE%D0%B9%D0%BD%D0%B8%D0%BA%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#цифровые_двойники</a> <a href="https://zhub.link/tags/%D1%83%D0%BF%D1%80%D0%B0%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%BC%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#управление_данными</a> <a href="https://zhub.link/tags/%D0%B0%D0%B2%D1%82%D0%BE%D0%BC%D0%B0%D1%82%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_%D0%BF%D1%80%D0%BE%D1%86%D0%B5%D1%81%D1%81%D0%BE%D0%B2" class="mention hashtag" rel="nofollow noopener" target="_blank">#автоматизация_процессов</a> <a href="https://zhub.link/tags/%D0%BF%D1%80%D0%B8%D0%BD%D1%8F%D1%82%D0%B8%D0%B5_%D1%80%D0%B5%D1%88%D0%B5%D0%BD%D0%B8%D0%B9" class="mention hashtag" rel="nofollow noopener" target="_blank">#принятие_решений</a> <a href="https://zhub.link/tags/iot" class="mention hashtag" rel="nofollow noopener" target="_blank">#iot</a>

HabrИнфраструктура для Data-Engineer Data Lake Apache IcebergВ этой статье вы узнаете что такое Apache Iceberg, как его можно использовать и для чего он вообще нужен. В статье также рассматривается вопрос Data Lake.<a href="https://habr.com/ru/articles/850674/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/850674/</a><a href="https://zhub.link/tags/data" class="mention hashtag" rel="nofollow noopener" target="_blank">#data</a> <a href="https://zhub.link/tags/data_lake" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_lake</a> <a href="https://zhub.link/tags/data_engineering" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_engineering</a> <a href="https://zhub.link/tags/data_engineer" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_engineer</a> <a href="https://zhub.link/tags/apache_spark" class="mention hashtag" rel="nofollow noopener" target="_blank">#apache_spark</a> <a href="https://zhub.link/tags/apache_iceberg" class="mention hashtag" rel="nofollow noopener" target="_blank">#apache_iceberg</a> <a href="https://zhub.link/tags/sql" class="mention hashtag" rel="nofollow noopener" target="_blank">#sql</a> <a href="https://zhub.link/tags/%D0%B4%D0%B0%D1%82%D0%B0_%D0%BB%D0%B5%D0%B9%D0%BA" class="mention hashtag" rel="nofollow noopener" target="_blank">#дата_лейк</a> <a href="https://zhub.link/tags/%D0%BE%D0%B7%D0%B5%D1%80%D0%BE_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#озеро_данных</a> <a href="https://zhub.link/tags/datalakehouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#datalakehouse</a>

HabrData Warehouse, Data Lake, Data Lakehouse, Data Fabric, Data Mesh – что это такое, и в чем разница между концепциямиЭпоха современных хранилищ данных началась с появления реляционных баз данных (далее БД). С появлением бизнес-аналитики следствием развития БД стала концепция Data Warehouse (корпоративное хранилище данных, DWH). Дальнейший рост объемов данных, введение термина «большие данные» и разнообразие требований к обработке привели к эволюции архитектур данных. Рассмотрим этапы эволюции архитектуры данных: чем отличаются концепции, какие у них преимущества и недостатки, для каких задач в работе с данными подходят.<a href="https://habr.com/ru/articles/846296/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/846296/</a><a href="https://zhub.link/tags/dwh" class="mention hashtag" rel="nofollow noopener" target="_blank">#dwh</a> <a href="https://zhub.link/tags/data_warehouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_warehouse</a> <a href="https://zhub.link/tags/data_lake" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_lake</a> <a href="https://zhub.link/tags/data_lakehouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_lakehouse</a> <a href="https://zhub.link/tags/data_mesh" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_mesh</a> <a href="https://zhub.link/tags/data_fabric" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_fabric</a> <a href="https://zhub.link/tags/%D1%85%D1%80%D0%B0%D0%BD%D0%B8%D0%BB%D0%B8%D1%89%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#хранилище_данных</a> <a href="https://zhub.link/tags/%D0%BA%D1%85%D0%B4" class="mention hashtag" rel="nofollow noopener" target="_blank">#кхд</a> <a href="https://zhub.link/tags/%D0%BA%D0%BE%D1%80%D0%BF%D0%BE%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D0%BE%D0%B5_%D1%85%D1%80%D0%B0%D0%BD%D0%B8%D0%BB%D0%B8%D1%89%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#корпоративное_хранилище_данных</a> <a href="https://zhub.link/tags/%D0%B0%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#архитектура_данных</a>

HabrИнфраструктура для data engineer KafkaВ этой статье я хочу показать как можно использовать Kafka в дата-инженерии и как её " пощупать ". Рекомендуется всем кто не знает что такое Kafka.<a href="https://habr.com/ru/articles/836302/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/836302/</a><a href="https://zhub.link/tags/kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#kafka</a> <a href="https://zhub.link/tags/data_engineering" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_engineering</a> <a href="https://zhub.link/tags/realtime" class="mention hashtag" rel="nofollow noopener" target="_blank">#realtime</a> <a href="https://zhub.link/tags/analytics" class="mention hashtag" rel="nofollow noopener" target="_blank">#analytics</a> <a href="https://zhub.link/tags/data" class="mention hashtag" rel="nofollow noopener" target="_blank">#data</a> <a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#анализ_данных</a> <a href="https://zhub.link/tags/data_lake" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_lake</a> <a href="https://zhub.link/tags/streaming" class="mention hashtag" rel="nofollow noopener" target="_blank">#streaming</a> <a href="https://zhub.link/tags/pipeline" class="mention hashtag" rel="nofollow noopener" target="_blank">#pipeline</a> <a href="https://zhub.link/tags/pipeline_automation" class="mention hashtag" rel="nofollow noopener" target="_blank">#pipeline_automation</a>

HabrКак правильно использовать большие данные: строим хранилища на MPP-СУБДНемного контекста. · Данные нужны везде — для понимания трендов и рисков, для улучшения клиентского опыта, для технической аналитики. · Вместе с цифровизацией и экспоненциальным ростом объема и разнообразия данных растет потребность в надежных, масштабируемых, производительных хранилищах. · Чтобы самостоятельно извлекать ценность из данных и оперативно использовать их в работе, нужно построить и поддерживать соответствующую инфраструктуру. Это трудозатратный подход. Сегодня поделимся нашим опытом, как снизить капиталовложения в оборудование с большим объемом памяти, добиться производительности и высокой отказоустойчивости при создании DataLake и Data Warehouse.<a href="https://habr.com/ru/companies/mws/articles/834246/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/mws/articles/834246/</a><a href="https://zhub.link/tags/%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#данные</a> <a href="https://zhub.link/tags/MWS" class="mention hashtag" rel="nofollow noopener" target="_blank">#MWS</a> <a href="https://zhub.link/tags/Data_Warehouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#Data_Warehouse</a> <a href="https://zhub.link/tags/Data_Lake" class="mention hashtag" rel="nofollow noopener" target="_blank">#Data_Lake</a> <a href="https://zhub.link/tags/Arenadata" class="mention hashtag" rel="nofollow noopener" target="_blank">#Arenadata</a> <a href="https://zhub.link/tags/%D1%81%D1%83%D0%B1%D0%B4" class="mention hashtag" rel="nofollow noopener" target="_blank">#субд</a>

HabrБыстрая обработка данных в data lake с помощью SQLКому пришла в голову идея отправлять SQL запросы в data lake? Оказывается, это позволяет компаниям более гибко и эффективно анализировать свои данные за счёт уменьшения потребности в ETL и снижения нагрузки на корпоративное хранилище. Рассмотрим, какие популярные SQL-движки умеют это делать и как им это удаётся. Меня зовут Владимир Озеров , я руковожу компанией Querify Labs. Мы уже порядка 10 лет занимаемся распределённым SQL, делаем всевозможные SQL-движки, в частности CedrusData — коммерческий движок на основе опенсорс проекта Trino. Сегодня поговорим про то, каким образом устроен ряд SQL-движков, которые обрабатывают данные от data lake.<a href="https://habr.com/ru/companies/oleg-bunin/articles/828836/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/oleg-bunin/articles/828836/</a><a href="https://zhub.link/tags/presto" class="mention hashtag" rel="nofollow noopener" target="_blank">#presto</a> <a href="https://zhub.link/tags/Dremio" class="mention hashtag" rel="nofollow noopener" target="_blank">#Dremio</a> <a href="https://zhub.link/tags/sql" class="mention hashtag" rel="nofollow noopener" target="_blank">#sql</a> <a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#анализ_данных</a> <a href="https://zhub.link/tags/trino" class="mention hashtag" rel="nofollow noopener" target="_blank">#trino</a> <a href="https://zhub.link/tags/%D0%BA%D1%85%D0%B4" class="mention hashtag" rel="nofollow noopener" target="_blank">#кхд</a> <a href="https://zhub.link/tags/data_lake" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_lake</a> <a href="https://zhub.link/tags/%D0%BA%D1%8D%D1%88%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#кэширование</a> <a href="https://zhub.link/tags/%D1%84%D0%B0%D0%B9%D0%BB%D0%BE%D0%B2%D1%8B%D0%B5_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#файловые_системы</a> <a href="https://zhub.link/tags/%D0%B1%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#базы_данных</a>

HabrВсё что нужно знать про DuckDBВ статье рассказано, как вам может помочь утка при работе с данными, с OLAP-нагрузкой и как она может плавать в вашем Data Lake. Вы узнаете всё самое важное про DuckDB и сможете попрактиковаться в работе с DuckDB.<a href="https://habr.com/ru/articles/829502/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/829502/</a><a href="https://zhub.link/tags/duckdb" class="mention hashtag" rel="nofollow noopener" target="_blank">#duckdb</a> <a href="https://zhub.link/tags/postgresql" class="mention hashtag" rel="nofollow noopener" target="_blank">#postgresql</a> <a href="https://zhub.link/tags/data_engineering" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_engineering</a> <a href="https://zhub.link/tags/data" class="mention hashtag" rel="nofollow noopener" target="_blank">#data</a> <a href="https://zhub.link/tags/db" class="mention hashtag" rel="nofollow noopener" target="_blank">#db</a> <a href="https://zhub.link/tags/olap" class="mention hashtag" rel="nofollow noopener" target="_blank">#olap</a> <a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D1%82%D0%B8%D0%BA%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#аналитика_данных</a> <a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D1%82%D0%B8%D0%BA%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#аналитика</a> <a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#анализ_данных</a> <a href="https://zhub.link/tags/data_lake" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_lake</a>

Habr[Перевод] Как Notion проектировал свой data lake, чтобы успевать за быстрым ростомЗа последние три года размер данных Notion увеличился в 10 раз из‑за роста количества пользователей и объёмов контента, с которым они работают. Удвоение этого показателя происходило каждые 6–12 месяцев. Нам нужно было справиться со стремительным ростом размеров данных, соответствуя при этом постоянно растущим требованиям, которые выдвигали критически важные сценарии использования наших продуктов и аналитических систем. Особенно это справедливо в применении к новым функциям Notion AI. Для того чтобы решить эти задачи нам нужно было создать озеро данных Notion и обеспечить его масштабирование. Вот как мы это сделали.<a href="https://habr.com/ru/companies/wunderfund/articles/828906/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/wunderfund/articles/828906/</a><a href="https://zhub.link/tags/Notion" class="mention hashtag" rel="nofollow noopener" target="_blank">#Notion</a> <a href="https://zhub.link/tags/data_lake" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_lake</a> <a href="https://zhub.link/tags/%D1%85%D1%80%D0%B0%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#хранение_данных</a> <a href="https://zhub.link/tags/%D1%85%D1%80%D0%B0%D0%BD%D0%B8%D0%BB%D0%B8%D1%89%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#хранилища_данных</a> <a href="https://zhub.link/tags/Notion_AI" class="mention hashtag" rel="nofollow noopener" target="_blank">#Notion_AI</a>

HabrИнфраструктура для data engineer S3S3 – это один из сервисов, который используется для построения Data Lake и обмена файлами. В этой статье рассказывается о технологии S3 со стороны дата-инженерии. Мы в статье рассмотрим как развернуть сервис, как им пользоваться и зачем он нужен в дата-инженерии<a href="https://habr.com/ru/articles/827052/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/articles/827052/</a><a href="https://zhub.link/tags/s3" class="mention hashtag" rel="nofollow noopener" target="_blank">#s3</a> <a href="https://zhub.link/tags/python" class="mention hashtag" rel="nofollow noopener" target="_blank">#python</a> <a href="https://zhub.link/tags/data" class="mention hashtag" rel="nofollow noopener" target="_blank">#data</a> <a href="https://zhub.link/tags/data_engineering" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_engineering</a> <a href="https://zhub.link/tags/data_engineer" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_engineer</a> <a href="https://zhub.link/tags/data_lake" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_lake</a> <a href="https://zhub.link/tags/data_lakehouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_lakehouse</a> <a href="https://zhub.link/tags/pet" class="mention hashtag" rel="nofollow noopener" target="_blank">#pet</a> <a href="https://zhub.link/tags/pet%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#petпроекты</a> <a href="https://zhub.link/tags/%D0%BE%D0%B1%D1%8A%D0%B5%D0%BA%D1%82%D0%BD%D0%BE%D0%B5_%D1%85%D1%80%D0%B0%D0%BD%D0%B8%D0%BB%D0%B8%D1%89%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#объектное_хранилище</a>

HabrDatabase, Data Warehouse и Data Lake: что это и когда следует использовать каждое?Данных становится все больше. Важно уметь эффективно хранить и обрабатывать их для решения сложных бизнес-задач. Одним из первых шагов на пути к успешной стратегии является выбор технологии хранения, поиска, анализа и отчетности по данным. Как выбрать между базой данных, Data Warehouse и Data Lake? Рассмотрим ключевые различия и когда следует использовать каждое.<a href="https://habr.com/ru/companies/smartup_tech/articles/807379/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/smartup_tech/articles/807379/</a><a href="https://zhub.link/tags/%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#данные</a> <a href="https://zhub.link/tags/%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5_%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#данные_приложения</a> <a href="https://zhub.link/tags/data" class="mention hashtag" rel="nofollow noopener" target="_blank">#data</a> <a href="https://zhub.link/tags/%D0%B1%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#базы_данных</a> <a href="https://zhub.link/tags/data_engineering" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_engineering</a> <a href="https://zhub.link/tags/data_warehouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_warehouse</a> <a href="https://zhub.link/tags/data_lake" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_lake</a>

HabrНовое электричество, новая нефть, или Как эффективно управлять разрозненными даннымиПоследние 10 лет о данных говорят, что это новое электричество, новая нефть, из которых можно извлекать выгоду для компании. Но не все умеют это делать. Если данные просто лежат в старой Oracle Exadata или внутри 1С, толку от них немного. Если же вы научитесь создавать новые аналитические связи для дальнейшего анализа бизнес-процессов или предсказывать тренды на основе исторических данных — это уже другая история. Привет, Хабр! Меня зовут Максим Еремин, руководитель направления развития продуктов<a href="https://habr.com/ru/companies/beeline_cloud/articles/800015/" rel="nofollow noopener" translate="no" target="_blank">https://habr.com/ru/companies/beeline_cloud/articles/800015/</a><a href="https://zhub.link/tags/%D0%BF%D0%BB%D0%B0%D1%82%D1%84%D0%BE%D1%80%D0%BC%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#платформа_данных</a> <a href="https://zhub.link/tags/data_platform" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_platform</a> <a href="https://zhub.link/tags/%D0%BA%D1%85%D0%B4" class="mention hashtag" rel="nofollow noopener" target="_blank">#кхд</a> <a href="https://zhub.link/tags/data_lake" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_lake</a> <a href="https://zhub.link/tags/%D0%BE%D0%B7%D0%B5%D1%80%D0%BE_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#озеро_данных</a>

Habr[Перевод] Выборочное удаление столбцов для повышения эффективности хранения в озерах данныхПо мере роста Uber объем обрабатываемых данных и количество обращений к ним многократно возросли. Такое быстрое увеличение объема привело к росту затрат на хранение и вычислительные ресурсы. В результате мы столкнулись с различными проблемами, такими как повышенные требования к железу, увеличившееся потребление ресурсов, а также проблемами с производительностью из-за ошибок наподобие OOM (out-of-memory) и длительных пауз на сборку мусора. Для решения проблем было реализовано несколько инициатив, такие как: внедрение TTL (Time to Live) политик для партиций, внедрение многослойного хранилища с стратегиями для перераспределения данных из “hot”/”warm” до “cold” уровней хранения, а также оптимизации форматов хранения данных. В данной статье фокус будет на последней оптимизации - как сократить размер данных в рамках формата Apache Parquet™ за счет удаления не использующихся колонок большого размера.<a href="https://habr.com/ru/articles/784372/" rel="nofollow noopener" target="_blank">https://habr.com/ru/articles/784372/</a><a href="https://zhub.link/tags/apache_parquet" class="mention hashtag" rel="nofollow noopener" target="_blank">#apache_parquet</a> <a href="https://zhub.link/tags/data_lake" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_lake</a> <a href="https://zhub.link/tags/data_processing" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_processing</a> <a href="https://zhub.link/tags/storage" class="mention hashtag" rel="nofollow noopener" target="_blank">#storage</a>

HabrBig Data в облаке: строим доступное хранилищеЗа последние годы «большие данные» стали восприниматься более гибко и могут включать в себя объемы, которые ранее не рассматривались как «большие». При этом снизились затраты на хранение и обработку информации. Теперь инструменты работы с данными подобных масштабов доступны даже небольшим компаниям. Важно помнить, что работа в этом направлении включает в себя разнообразные вызовы, связанные с ограничениями оборудования, типами источников данных, сложностью анализа. Данные нужно правильно собирать, хранить и обрабатывать, а для этого нужно выстроить правильную инфраструктуру. Сегодня расскажем про решение, которое уменьшит неопределенность при работе с крупными данными и поможет максимально быстро построить с нуля удобную и недорогую систему для аналитических задач в вашей компании.<a href="https://habr.com/ru/companies/cloud_mts/articles/782226/" rel="nofollow noopener" target="_blank">https://habr.com/ru/companies/cloud_mts/articles/782226/</a><a href="https://zhub.link/tags/%D0%BE%D0%B1%D1%8A%D0%B5%D0%BA%D1%82%D0%BD%D0%BE%D0%B5_%D1%85%D1%80%D0%B0%D0%BD%D0%B8%D0%BB%D0%B8%D1%89%D0%B5" class="mention hashtag" rel="nofollow noopener" target="_blank">#объектное_хранилище</a> <a href="https://zhub.link/tags/%D0%BE%D0%B1%D1%8A%D0%B5%D0%BA%D1%82%D0%BD%D0%BE%D0%B5_%D1%85%D1%80%D0%B0%D0%BD%D0%B8%D0%BB%D0%B8%D1%89%D0%B5_s3" class="mention hashtag" rel="nofollow noopener" target="_blank">#объектное_хранилище_s3</a> <a href="https://zhub.link/tags/s3" class="mention hashtag" rel="nofollow noopener" target="_blank">#s3</a> <a href="https://zhub.link/tags/big_data" class="mention hashtag" rel="nofollow noopener" target="_blank">#big_data</a> <a href="https://zhub.link/tags/Data_Warehouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#Data_Warehouse</a> <a href="https://zhub.link/tags/Data_Lake" class="mention hashtag" rel="nofollow noopener" target="_blank">#Data_Lake</a>

HabrСовременные типы архитектуры данных: Погружение в различные подходы к построению хранилищ данныхВ данной статье мы рассмотрим ключевые аспекты различных типов хранилищ данных, которые помогут оптимизировать процессы управления данными в вашей компании. Подробнее<a href="https://habr.com/ru/articles/778034/" rel="nofollow noopener" target="_blank">https://habr.com/ru/articles/778034/</a><a href="https://zhub.link/tags/DWH" class="mention hashtag" rel="nofollow noopener" target="_blank">#DWH</a> <a href="https://zhub.link/tags/data_lake" class="mention hashtag" rel="nofollow noopener" target="_blank">#data_lake</a> <a href="https://zhub.link/tags/nosql" class="mention hashtag" rel="nofollow noopener" target="_blank">#nosql</a> <a href="https://zhub.link/tags/%D0%B1%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#базы_данных</a> <a href="https://zhub.link/tags/%D1%83%D0%BF%D1%80%D0%B0%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%BC%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#управление_данными</a> <a href="https://zhub.link/tags/%D1%85%D1%80%D0%B0%D0%BD%D0%B8%D0%BB%D0%B8%D1%89%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#хранилища_данных</a> <a href="https://zhub.link/tags/etl%D0%BF%D1%80%D0%BE%D1%86%D0%B5%D1%81%D1%81%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#etlпроцессы</a> <a href="https://zhub.link/tags/etl" class="mention hashtag" rel="nofollow noopener" target="_blank">#etl</a> <a href="https://zhub.link/tags/big_data" class="mention hashtag" rel="nofollow noopener" target="_blank">#big_data</a> <a href="https://zhub.link/tags/big_data_analytics" class="mention hashtag" rel="nofollow noopener" target="_blank">#big_data_analytics</a>

Recent searches

Search options

Administered by:

Server stats:

#data_lake