ClickHouse CI :archlinux:<p>That moment, when the <a href="https://hostux.social/tags/ClickHouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>ClickHouse</span></a> is not available and raises `Code: 210. DB::NetException: Net Exception: Connection reset by peer (NETWORK_ERROR)`, so you strike Up=>Enter, Up=>Enter.</p><p>Suddenly, it connects, and the query executes. And it's:</p><p>```<br>clickhouse-cloud :) DROP TABLE default.crash_logs<br>```</p><p>Good news: it was just a Merge table.</p>
fosstodon.org is one of the many independent Mastodon servers you can use to participate in the fediverse.
Fosstodon is an invite only Mastodon instance that is open to those who are interested in technology; particularly free & open source software.
If you wish to join, contact us for an invite.
Administered by:
Server stats:
8.7Kactive users
fosstodon.org: About · Status · Profiles directory · Privacy policy
Mastodon: About · Get the app · Keyboard shortcuts · View source code · v4.4.3
#clickhouse
5 posts · 5 participants · 1 post today
Habr<p>Как я раздул из гофера слона или история распределенного сократителя ссылок</p><p>Вполне логично предположить, что сократитель ссылок — довольно простой сервис как с точки зрения пользователя, так и под капотом. Но что, если, взяв за основу такую простую задачу, построить целую распределенную систему? Мой шортенер начинался как простая практика с Go и gRPC после всех ОГЭ:), где должно было быть 3 сервиса: тг бот, API gateway и ядро. Но с каждым днем идей все больше, энтузиазм растёт, я стал делать упор на высокие нагрузки, и постепенно мини‑практика начала становиться боевой event-driven машиной. В этой статье я хотел бы подметить интересную мысль: даже самая простая вещь может быть реализована сложно. Погрузиться в архитектуру</p><p><a href="https://habr.com/ru/articles/934896/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="">habr.com/ru/articles/934896/</span><span class="invisible"></span></a></p><p><a href="https://zhub.link/tags/golang" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>golang</span></a> <a href="https://zhub.link/tags/grpc" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>grpc</span></a> <a href="https://zhub.link/tags/kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>kafka</span></a> <a href="https://zhub.link/tags/microservices" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>microservices</span></a> <a href="https://zhub.link/tags/highload" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>highload</span></a> <a href="https://zhub.link/tags/opentelemetry" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>opentelemetry</span></a> <a href="https://zhub.link/tags/clickhouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>clickhouse</span></a> <a href="https://zhub.link/tags/architecture" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>architecture</span></a></p>
Coroot<p>You asked for it, and size-capped telemetry retention in <a href="https://mastodon.social/tags/Clickhouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Clickhouse</span></a> is here in <a href="https://mastodon.social/tags/Coroot" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Coroot</span></a> v1.13! <a href="https://t.ly/vreLC" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="">t.ly/vreLC</span><span class="invisible"></span></a> </p><p>Specify the size of log and trace data you would like to keep, and Coroot will handle the rest: automatically dropping the oldest data when disk usage gets too high.</p><p><a href="https://mastodon.social/tags/kubernetes" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>kubernetes</span></a> <a href="https://mastodon.social/tags/clickhouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>clickhouse</span></a> <a href="https://mastodon.social/tags/databases" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>databases</span></a> <a href="https://mastodon.social/tags/observability" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>observability</span></a> <a href="https://mastodon.social/tags/tech" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>tech</span></a> <a href="https://mastodon.social/tags/IT" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>IT</span></a> <a href="https://mastodon.social/tags/opensource" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>opensource</span></a> <a href="https://mastodon.social/tags/FOSS" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>FOSS</span></a> <a href="https://mastodon.social/tags/Sysadmin" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Sysadmin</span></a> <a href="https://mastodon.social/tags/SRE" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>SRE</span></a> <a href="https://mastodon.social/tags/DevOps" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>DevOps</span></a></p>
ThingRex<p>I taught Amazon Q (claude-4-sonnet) how to use the ClickHouse cli client. That capability greatly improved the development efficiency and the quality of generated code.</p><p><a href="https://fosstodon.org/tags/clickhouse" class="mention hashtag" rel="tag">#<span>clickhouse</span></a> <a href="https://fosstodon.org/tags/ai" class="mention hashtag" rel="tag">#<span>ai</span></a> <a href="https://fosstodon.org/tags/aws" class="mention hashtag" rel="tag">#<span>aws</span></a></p>
Habr<p>ClickHouse не тормозит, но теряет данные. Часть 2 — от буферных таблиц к Kafka Engine</p><p>ClickHouse не тормозит, но теряет данные. Набор простых действий с объяснениями, позволяющий избежать потери данных</p><p><a href="https://habr.com/ru/articles/934320/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="">habr.com/ru/articles/934320/</span><span class="invisible"></span></a></p><p><a href="https://zhub.link/tags/clickhouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>clickhouse</span></a> <a href="https://zhub.link/tags/kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>kafka</span></a> <a href="https://zhub.link/tags/%D0%B1%D0%B0%D0%B7%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>база_данных</span></a> <a href="https://zhub.link/tags/buffer" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>buffer</span></a> <a href="https://zhub.link/tags/%D0%BF%D0%BE%D1%82%D0%B5%D1%80%D1%8F_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>потеря_данных</span></a> <a href="https://zhub.link/tags/acid" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>acid</span></a> <a href="https://zhub.link/tags/%D1%82%D1%80%D0%B0%D0%BD%D0%B7%D0%B0%D0%BA%D1%86%D0%B8%D0%BE%D0%BD%D0%BD%D0%BE%D1%81%D1%82%D1%8C" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>транзакционность</span></a> <a href="https://zhub.link/tags/%D0%B1%D0%B0%D1%82%D1%87%D0%B8%D0%BD%D0%B3" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>батчинг</span></a> <a href="https://zhub.link/tags/%D1%81%D1%82%D1%80%D0%B8%D0%BC%D0%B8%D0%BD%D0%B3_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>стриминг_данных</span></a></p>
Habr<p>Как мы делали удобный интерфейс для аналитики ставок и что пошло не так</p><p>👋 Привет, Хабр. Я продукт-менеджер в achiewin com — мы развиваем платформу для спортивных ставок, и одна из ключевых фич, которую мы проектировали в прошлом квартале, — дашборд анализа коэффициентов . Выглядело просто: взять наши данные, обернуть в фильтры, показать графики — и вот тебе аналитика. На деле — всё пошло не так. Рассказываю, как мы завалили первую версию, что пришлось переписывать, и почему «простой интерфейс» сложнее, чем кажется.</p><p><a href="https://habr.com/ru/articles/933288/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="">habr.com/ru/articles/933288/</span><span class="invisible"></span></a></p><p><a href="https://zhub.link/tags/%D0%BF%D1%80%D0%BE%D0%B4%D1%83%D0%BA%D1%82%D0%BE%D0%B2%D1%8B%D0%B9_%D0%BF%D0%BE%D0%B4%D1%85%D0%BE%D0%B4" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>продуктовый_подход</span></a> <a href="https://zhub.link/tags/UX%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>UXанализ</span></a> <a href="https://zhub.link/tags/%D0%B2%D0%B8%D0%B7%D1%83%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_%D0%BA%D0%BE%D1%8D%D1%84%D1%84%D0%B8%D1%86%D0%B8%D0%B5%D0%BD%D1%82%D0%BE%D0%B2" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>визуализация_коэффициентов</span></a> <a href="https://zhub.link/tags/ClickHouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>ClickHouse</span></a> <a href="https://zhub.link/tags/Kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Kafka</span></a> <a href="https://zhub.link/tags/%D0%B8%D0%BD%D1%82%D0%B5%D1%80%D1%84%D0%B5%D0%B9%D1%81_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D1%82%D0%B8%D0%BA%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>интерфейс_аналитики</span></a> <a href="https://zhub.link/tags/%D1%81%D0%B8%D0%B3%D0%BD%D0%B0%D0%BB%D1%8B_%D1%81%D1%82%D0%B0%D0%B2%D0%BE%D0%BA" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>сигналы_ставок</span></a> <a href="https://zhub.link/tags/%D0%B4%D0%B0%D1%88%D0%B1%D0%BE%D1%80%D0%B4" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>дашборд</span></a> <a href="https://zhub.link/tags/%D0%B0%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80%D0%B0_%D1%84%D1%80%D0%BE%D0%BD%D1%82%D0%B5%D0%BD%D0%B4%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>архитектура_фронтенда</span></a></p>
Habr<p>Автоматическое определение параметров хранения в базе данных</p><p>Предлагается к рассмотрению метод динамического определения форматов хранения и типов индексации в таблицах аналитической базы данных Dimension DB. На основе метаданных из источников данных (SQL-запросов, таблиц или представлений) определяется формат хранения или представления данных, а по текущему распределению данных, автоматически определяется тип индексирования.</p><p><a href="https://habr.com/ru/articles/933084/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="">habr.com/ru/articles/933084/</span><span class="invisible"></span></a></p><p><a href="https://zhub.link/tags/java" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>java</span></a> <a href="https://zhub.link/tags/backend" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>backend</span></a> <a href="https://zhub.link/tags/column_database" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>column_database</span></a> <a href="https://zhub.link/tags/clickhouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>clickhouse</span></a> <a href="https://zhub.link/tags/highload" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>highload</span></a></p>
Coroot<p>SLO violation? Coroot's newest edition of AI-Powered RCA will automatically show what went wrong, and how to fix it - in language that even your most lost <a href="https://mastodon.social/tags/DevOps" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>DevOps</span></a> or <a href="https://mastodon.social/tags/SRE" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>SRE</span></a> intern can understand: </p><p>🧑💻 🔥 📊 Test it out: <a href="https://t.ly/aQ4-5" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="">t.ly/aQ4-5</span><span class="invisible"></span></a></p><p><a href="https://mastodon.social/tags/observability" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>observability</span></a> <a href="https://mastodon.social/tags/AI" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>AI</span></a> <a href="https://mastodon.social/tags/LLM" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>LLM</span></a> <a href="https://mastodon.social/tags/ML" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>ML</span></a> <a href="https://mastodon.social/tags/monitoring" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>monitoring</span></a> <a href="https://mastodon.social/tags/eBPF" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>eBPF</span></a> <a href="https://mastodon.social/tags/postgres" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>postgres</span></a> <a href="https://mastodon.social/tags/clickhouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>clickhouse</span></a> <a href="https://mastodon.social/tags/kubernetes" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>kubernetes</span></a> <a href="https://mastodon.social/tags/opensource" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>opensource</span></a> <a href="https://mastodon.social/tags/Coroot" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Coroot</span></a> <a href="https://mastodon.social/tags/tech" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>tech</span></a> <a href="https://mastodon.social/tags/IT" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>IT</span></a> <a href="https://mastodon.social/tags/sysadmin" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>sysadmin</span></a></p>
Habr<p>ClickHouse не тормозит, но теряет данные. Часть 1 — дедупликация</p><p>ClickHouse не тормозит, но теряет данные. Набор простых действий с объяснениями, позволяющий избежать потери данных</p><p><a href="https://habr.com/ru/articles/932502/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="">habr.com/ru/articles/932502/</span><span class="invisible"></span></a></p><p><a href="https://zhub.link/tags/clickhouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>clickhouse</span></a> <a href="https://zhub.link/tags/%D1%81%D1%83%D0%B1%D0%B4" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>субд</span></a> <a href="https://zhub.link/tags/%D0%B4%D0%B5%D0%B4%D1%83%D0%BF%D0%BB%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>дедупликация</span></a> <a href="https://zhub.link/tags/%D0%BF%D0%BE%D1%82%D0%B5%D1%80%D1%8F_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>потеря_данных</span></a> <a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D1%82%D0%B8%D0%BA%D0%B0" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>аналитика</span></a> <a href="https://zhub.link/tags/%D0%B4%D1%83%D0%B1%D0%BB%D0%B8" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>дубли</span></a> <a href="https://zhub.link/tags/%D0%B1%D0%B0%D0%B7%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>база_данных</span></a></p>
Habr<p>ELT процесс в архитектуре Data lakehouse на базе open-source (kafka, dagster, s3+iceberg, trino, clickhouse и DBT)</p><p>К нам обратился один из крупнейших строительных холдингов России (ГК компаний из 10+ юридических лиц) с потребностью в сборе всех данных с филиалом, анализе и визуализации на дашбордах. При входе на проект аналитической инфраструктуры у компании почти не было, только множество учетных систем без централизованного хранилища данных. Объем проекта был непонятен, «аппетит приходит во время еды». Важная особенность проекта — полностью закрытый контур с доступом через терминальные решения. Было решение выбрать архитектуру Data Lakehouse на open source стеке, основой которого стали — kafka, dagster, s3+iceberg, trino, clickhouse и DBT. В результате получилось более 1000 моделей DBT, 1 тб сжатых данных, и объем продолжает расти. Из потребителей данных — бизнес системы, Power BI отчеты, аналитики и дата‑инженеры, веб‑приложения, MDX‑кубы. Методология ведения проекта Scrum, команда DWH‑инженеров 11 человек и greenfield‑разработка.</p><p><a href="https://habr.com/ru/articles/931282/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="">habr.com/ru/articles/931282/</span><span class="invisible"></span></a></p><p><a href="https://zhub.link/tags/dbt" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>dbt</span></a> <a href="https://zhub.link/tags/yml%D1%84%D0%B0%D0%B9%D0%BB" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>ymlфайл</span></a> <a href="https://zhub.link/tags/datalakehouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>datalakehouse</span></a> <a href="https://zhub.link/tags/data_engineering" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>data_engineering</span></a> <a href="https://zhub.link/tags/etl%D0%BF%D1%80%D0%BE%D1%86%D0%B5%D1%81%D1%81%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>etlпроцессы</span></a> <a href="https://zhub.link/tags/open_source" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>open_source</span></a> <a href="https://zhub.link/tags/trino" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>trino</span></a> <a href="https://zhub.link/tags/clickhouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>clickhouse</span></a> <a href="https://zhub.link/tags/dagster" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>dagster</span></a></p>
ClickHouse CI :archlinux:<p>That moment, when the <a href="https://hostux.social/tags/ClickHouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>ClickHouse</span></a> is not available and raises `Code: 210. DB::NetException: Net Exception: Connection reset by peer (NETWORK_ERROR)`, so you strike Up=>Enter, Up=>Enter.</p><p>Suddenly, it connects, and the query executes. And it's:</p><p>```<br>clickhouse-cloud :) DROP TABLE default.crash_logs<br>```</p><p>Good news: it was a Merge table.</p>
Coroot<p>🧑💻 🔥 Log analysis can take only seconds (not hours) with time-mapped heat graphs, pattern clustering and analysis, and errors sorted by severity. Try it out yourself: <a href="https://t.ly/DiUdd" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="">t.ly/DiUdd</span><span class="invisible"></span></a></p><p><a href="https://mastodon.social/tags/kubernetes" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>kubernetes</span></a> <a href="https://mastodon.social/tags/AWS" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>AWS</span></a> <a href="https://mastodon.social/tags/observability" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>observability</span></a> <a href="https://mastodon.social/tags/GCP" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>GCP</span></a> <a href="https://mastodon.social/tags/Axure" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Axure</span></a> <a href="https://mastodon.social/tags/postgresql" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>postgresql</span></a> <a href="https://mastodon.social/tags/clickhouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>clickhouse</span></a> <a href="https://mastodon.social/tags/opensource" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>opensource</span></a> <a href="https://mastodon.social/tags/FOSS" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>FOSS</span></a> <a href="https://mastodon.social/tags/Linux" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Linux</span></a> <a href="https://mastodon.social/tags/eBPF" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>eBPF</span></a> <a href="https://mastodon.social/tags/DevOps" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>DevOps</span></a> <a href="https://mastodon.social/tags/SRE" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>SRE</span></a></p>
Coroot<p>Need to quickly teach someone why observability matters? Share this video of Coroot Co-founder Peter Zaitsev explaining the value in 1min👇 🧑💻 🔥 </p><p><a href="https://mastodon.social/tags/kubernetes" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>kubernetes</span></a> <a href="https://mastodon.social/tags/AWS" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>AWS</span></a> <a href="https://mastodon.social/tags/observability" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>observability</span></a> <a href="https://mastodon.social/tags/GCP" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>GCP</span></a> <a href="https://mastodon.social/tags/Axure" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Axure</span></a> <a href="https://mastodon.social/tags/postgresql" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>postgresql</span></a> <a href="https://mastodon.social/tags/clickhouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>clickhouse</span></a> <a href="https://mastodon.social/tags/opensource" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>opensource</span></a> <a href="https://mastodon.social/tags/FOSS" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>FOSS</span></a> <a href="https://mastodon.social/tags/Linux" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Linux</span></a> <a href="https://mastodon.social/tags/eBPF" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>eBPF</span></a> <a href="https://mastodon.social/tags/DevOps" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>DevOps</span></a> <a href="https://mastodon.social/tags/SRE" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>SRE</span></a></p>
HackerNews VN bot<p>Chuyển đổi từ Postgres sang ClickHouse? 🤔 Bài viết này chia sẻ các mẹo mô hình hóa dữ liệu để giúp bạn tận dụng tối đa ClickHouse. Tìm hiểu cách tối ưu hóa cho cơ sở dữ liệu hướng cột (column-oriented database) nhé!<br><a href="https://mastodon.maobui.com/tags/Postgres" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Postgres</span></a> <a href="https://mastodon.maobui.com/tags/ClickHouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>ClickHouse</span></a> <a href="https://mastodon.maobui.com/tags/DataModeling" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>DataModeling</span></a> <a href="https://mastodon.maobui.com/tags/Database" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Database</span></a> <a href="https://mastodon.maobui.com/tags/C%C6%A1S%E1%BB%9FD%E1%BB%AFLi%E1%BB%87u" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>CơSởDữLiệu</span></a> <a href="https://mastodon.maobui.com/tags/M%C3%B4H%C3%ACnhH%C3%B3aD%E1%BB%AFLi%E1%BB%87u" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>MôHìnhHóaDữLiệu</span></a></p><p><a href="https://clickhouse.com/blog/postgres-to-clickhouse-data-modeling-tips-v2" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="ellipsis">clickhouse.com/blog/postgres-t</span><span class="invisible">o-clickhouse-data-modeling-tips-v2</span></a></p>
Habr<p>Основы ETL на примере работы с Superset, Airflow и ClickHouse</p><p>В этой статье я расскажу, как можно запустить простой ETL-процесс на виртуальном сервере, используя связку Superset, Airflow и ClickHouse. В качестве платформы я взял готовую конфигурацию от Beget, включающую Superset и Airflow из коробки — это позволяет сосредоточиться на логике обработки данных, а не на настройке окружения. В качестве примера мы подготовим процесс выгрузки и визуализации данных о товарах с сайта Wildberries. Для извлечения данных мы будем использовать Python-библиотеки selenium и BeautifulSoup — они хорошо подходят для парсинга веб-страниц. Дополнительно применим re для обработки текстовой информации с помощью регулярных выражений.</p><p><a href="https://habr.com/ru/companies/beget/articles/928712/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="ellipsis">habr.com/ru/companies/beget/ar</span><span class="invisible">ticles/928712/</span></a></p><p><a href="https://zhub.link/tags/etl" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>etl</span></a> <a href="https://zhub.link/tags/apache_airflow" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>apache_airflow</span></a> <a href="https://zhub.link/tags/apache_superset" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>apache_superset</span></a> <a href="https://zhub.link/tags/clickhouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>clickhouse</span></a> <a href="https://zhub.link/tags/dag" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>dag</span></a> <a href="https://zhub.link/tags/%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>обработка_данных</span></a> <a href="https://zhub.link/tags/bi%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>biинструменты</span></a> <a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>анализ_данных</span></a> <a href="https://zhub.link/tags/beget" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>beget</span></a></p>
Coroot<p>🐧🐝 Write for our community blog to share <a href="https://mastodon.social/tags/SRE" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>SRE</span></a> tips, experiences, or an <a href="https://mastodon.social/tags/opensource" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>opensource</span></a> observability project you're working on, so everyone can improve their skills together! <a href="http://coroot.com/submit-a-blog/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">http://</span><span class="">coroot.com/submit-a-blog/</span><span class="invisible"></span></a> </p><p><a href="https://mastodon.social/tags/opensource" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>opensource</span></a> <a href="https://mastodon.social/tags/freesoftware" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>freesoftware</span></a> <a href="https://mastodon.social/tags/FOSS" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>FOSS</span></a> <a href="https://mastodon.social/tags/kubernetes" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>kubernetes</span></a> <a href="https://mastodon.social/tags/MySQL" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>MySQL</span></a> <a href="https://mastodon.social/tags/postgresql" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>postgresql</span></a> <a href="https://mastodon.social/tags/OTEL" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>OTEL</span></a> <a href="https://mastodon.social/tags/Clickhouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Clickhouse</span></a> <a href="https://mastodon.social/tags/DevOps" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>DevOps</span></a> <a href="https://mastodon.social/tags/SRE" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>SRE</span></a></p>
Habr<p>Как мы строим real-time data-пайплайны для анонимных крипто-свапалок: опыт на примере risetocrypto</p><p>В мире криптовалют анонимность и безопасность являются ключевыми элементами. Когда речь идет о крипто-свапалках, эффективность обработки данных в реальном времени играет решающую роль для обеспечения высокого качества сервиса. В этой статье расскажем, как мы реализовали масштабируемую архитектуру для обработки данных на платформе risetocrypto с использованием передовых технологий.</p><p><a href="https://habr.com/ru/articles/927862/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="">habr.com/ru/articles/927862/</span><span class="invisible"></span></a></p><p><a href="https://zhub.link/tags/Big_Data" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Big_Data</span></a> <a href="https://zhub.link/tags/Kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Kafka</span></a> <a href="https://zhub.link/tags/Apache_Flink" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Apache_Flink</span></a> <a href="https://zhub.link/tags/Machine_Learning" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Machine_Learning</span></a> <a href="https://zhub.link/tags/Blockchain" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Blockchain</span></a> <a href="https://zhub.link/tags/Data_Engineering" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Data_Engineering</span></a> <a href="https://zhub.link/tags/Realtime_Processing" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Realtime_Processing</span></a> <a href="https://zhub.link/tags/Security_Analytics" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Security_Analytics</span></a> <a href="https://zhub.link/tags/Slippage_Monitoring" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Slippage_Monitoring</span></a> <a href="https://zhub.link/tags/ClickHouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>ClickHouse</span></a></p>
Habr<p>Оптимизация инсертов в ClickHouse через Kafka Sink-коннекторы</p><p>Меня зовут Артем Москальков, я — ведущий инженер данных в Магнит OMNI. В статье я расскажу о том, как мы оптимизировали производительность кластера в ClickHouse. Частые мелкие вставки данных через Kafka Sink-коннектор серьёзно замедляли работу ClickHouse из-за огромного числа отдельных запросов. Путём настройки параметров потребителя Kafka и включения объединения партиций удалось сгруппировать записи в крупные блоки, что резко снизило нагрузку на базу и многократно увеличило её пропускную способность.</p><p><a href="https://habr.com/ru/companies/magnit/articles/926834/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="ellipsis">habr.com/ru/companies/magnit/a</span><span class="invisible">rticles/926834/</span></a></p><p><a href="https://zhub.link/tags/kafka" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>kafka</span></a> <a href="https://zhub.link/tags/%D0%B8%D0%BD%D1%81%D0%B5%D1%80%D1%82" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>инсерт</span></a> <a href="https://zhub.link/tags/%D0%BE%D0%BF%D1%82%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_%D0%B7%D0%B0%D0%BF%D1%80%D0%BE%D1%81%D0%BE%D0%B2" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>оптимизация_запросов</span></a> <a href="https://zhub.link/tags/clickhouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>clickhouse</span></a> <a href="https://zhub.link/tags/%D0%BA%D0%BE%D0%BD%D0%BD%D0%B5%D0%BA%D1%82%D0%BE%D1%80%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>коннекторы</span></a> <a href="https://zhub.link/tags/insert" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>insert</span></a> <a href="https://zhub.link/tags/etl" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>etl</span></a> <a href="https://zhub.link/tags/etl%D0%BF%D1%80%D0%BE%D1%86%D0%B5%D1%81%D1%81%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>etlпроцессы</span></a> <a href="https://zhub.link/tags/dwh" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>dwh</span></a> <a href="https://zhub.link/tags/elt" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>elt</span></a></p>
Habr<p>[Перевод] Как уменьшить размер модели Power BI на 90%</p><p>Вы когда-нибудь задумывались, что делает Power BI таким быстрым и мощным с точки зрения производительности? Настолько мощным, что он выполняет сложные вычисления над миллионами строк за мгновение. В этой статье мы подробно рассмотрим, что находится «под капотом» Power BI: как данные хранятся, сжимаются, запрашиваются и, наконец, возвращаются в отчёт. После прочтения, надеюсь, у вас появится лучшее понимание того, что происходит в фоновом режиме, и вы сможете оценить важность создания оптимальной модели данных для достижения максимальной производительности с использованием движка Power BI.</p><p><a href="https://habr.com/ru/companies/otus/articles/926904/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="ellipsis">habr.com/ru/companies/otus/art</span><span class="invisible">icles/926904/</span></a></p><p><a href="https://zhub.link/tags/devops" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>devops</span></a> <a href="https://zhub.link/tags/power_bi" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>power_bi</span></a> <a href="https://zhub.link/tags/%D0%9E%D0%BF%D1%82%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>Оптимизация_данных</span></a> <a href="https://zhub.link/tags/%D0%B1%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>базы_данных</span></a> <a href="https://zhub.link/tags/big_data" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>big_data</span></a> <a href="https://zhub.link/tags/%D1%81%D0%B6%D0%B0%D1%82%D0%B8%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>сжатие_данных</span></a> <a href="https://zhub.link/tags/clickhouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>clickhouse</span></a></p>
Habr<p>Многомерный анализ данных временных рядов</p><p>Попробуем применить многомерный анализ к данным временных рядов с помощью интерактивной визуализации данных измерений и их взаимосвязей.</p><p><a href="https://habr.com/ru/articles/926598/" rel="nofollow noopener" translate="no" target="_blank"><span class="invisible">https://</span><span class="">habr.com/ru/articles/926598/</span><span class="invisible"></span></a></p><p><a href="https://zhub.link/tags/%D0%B2%D1%80%D0%B5%D0%BC%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%80%D1%8F%D0%B4%D1%8B" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>временные_ряды</span></a> <a href="https://zhub.link/tags/%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7_%D0%B2%D1%80%D0%B5%D0%BC%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D1%80%D1%8F%D0%B4%D0%BE%D0%B2" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>анализ_временных_рядов</span></a> <a href="https://zhub.link/tags/java" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>java</span></a> <a href="https://zhub.link/tags/lowcode" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>lowcode</span></a> <a href="https://zhub.link/tags/adhoc" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>adhoc</span></a> <a href="https://zhub.link/tags/%D0%BA%D0%BE%D0%BB%D0%BE%D0%BD%D0%BE%D1%87%D0%BD%D1%8B%D0%B5_%D1%81%D1%83%D0%B1%D0%B4" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>колоночные_субд</span></a> <a href="https://zhub.link/tags/rdbms" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>rdbms</span></a> <a href="https://zhub.link/tags/postgresql" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>postgresql</span></a> <a href="https://zhub.link/tags/oracle" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>oracle</span></a> <a href="https://zhub.link/tags/clickhouse" class="mention hashtag" rel="nofollow noopener" target="_blank">#<span>clickhouse</span></a></p>
TrendingLive feeds
Mastodon is the best way to keep up with what's happening.
Follow anyone across the fediverse and see it all in chronological order. No algorithms, ads, or clickbait in sight.
LoginDrag & drop to upload