Habr<p>Как избавиться от проприетарных ETL: кейс миграции на dbt</p><p>Несколько лет назад наш корпоративный слой данных жил на проприетарных технологиях. Данных было много, а основная СУБД — MPP-система Sybase IQ — долго не обновлялась. Мы регулярно сталкивались с тем, что у кластера «падали» ноды, каталог базы повреждался, порой даже терялись данные, а вендор не спешил выпускать исправления или даже признавать проблему. ETL-процессы работали через IBM DataStage, который также перестал развиваться. Все решения были закрыты, и мы не могли влиять на их улучшение. Vendor lock-in означает, что вы зависите от поставщика: если вендор не поддерживает нужные возможности, развитие замедляется, а долгоживущие ошибки остаются нерешенными. Такое положение становилось критичным. Мы поняли, что для устойчивого развития платформы нужно срочно искать альтернативу: переходить на стек, которым мы можем управлять сами. При этом важно было сохранить команду: десятки разработчиков и аналитиков уже работали с существующей моделью. Новому решению следовало быть удобным для аналитиков, прозрачным для бизнеса и гибким для инженеров. В этой статье рассказываем о том, как мы перешли с проприетарных ETL-инструментов на open-source на базе dbt, какие проблемы решали по ходу внедрения, и как построили экосистему вокруг dbt для автоматизации рутинных задач.</p><p><a href="https://habr.com/ru/companies/gazprombank/articles/947124/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="ellipsis">habr.com/ru/companies/gazpromb</span><span class="invisible">ank/articles/947124/</span></a></p><p><a href="https://zhub.link/tags/dbt" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>dbt</span></a> <a href="https://zhub.link/tags/greenplum" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>greenplum</span></a> <a href="https://zhub.link/tags/airflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>airflow</span></a> <a href="https://zhub.link/tags/clickhouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>clickhouse</span></a> <a href="https://zhub.link/tags/dataengineer" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>dataengineer</span></a> <a href="https://zhub.link/tags/python" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>python</span></a></p>