Recent searches

No recent searches

Search options

Only available when logged in.
fosstodon.org is one of the many independent Mastodon servers you can use to participate in the fediverse.
Fosstodon is an invite only Mastodon instance that is open to those who are interested in technology; particularly free & open source software. If you wish to join, contact us for an invite.

Administered by:

Server stats:

8.6K
active users

fosstodon.org: AboutStatusProfiles directoryPrivacy policy

Mastodon: AboutGet the appKeyboard shortcutsView source codev4.4.3

#KafkaConnect

1 post1 participant1 post today
Habr

Битва, где все проигрывают, или Как Kafka Compact Topics остановил войну данных

В статье рассказывается о типичной проблеме синхронизации данных между микросервисами через связку «снапшот + инкременты» и предлагается решение на основе Kafka Compact Topics . Это своего рода «волшебная тетрадь», которая автоматически оставляет только последние версии записей, избавляя от головной боли с рассинхронизацией. Разбираются практические кейсы применения, подводные камни, тонкости настройки и интеграция с Debezium для автоматической выгрузки из PostgreSQL. Что получите: понимание, когда компактные топики решают проблему, а когда лучше использовать классические подходы, плюс готовые конфиги для быстрого старта

habr.com/ru/companies/sberbank

ХабрБитва, где все проигрывают, или Как Kafka Compact Topics остановил войну данныхВыгрузить снапшот или отправить инкремент? Классическая дилемма, когда оба варианта чреваты головной болью. Два часа ночи. Выгружаете гигабайтный снапшот пользователей. Внезапно — алерт: ...
#kafka#kafkaconnect
Habr

Пишем свой Config Provider для Kafka Connect с поддержкой значений по умолчанию

Для инжекции значений из различных источников в конфигурации тасок Kafka Connect используются различные реализации интерфейса org.apache.kafka.common.config.provider.ConfigProvider. Это специализированный интерфейс, реализации которого отвечают за то, чтобы подставить значения используя различные источники.

habr.com/ru/articles/885810/

ХабрПишем свой Config Provider для Kafka Connect с поддержкой значений по умолчаниюДля инжекции значений из различных источников в конфигурации тасок Kafka Connect используются различные реализации интерфейса org.apache.kafka.common.config.provider.ConfigProvider. Это...
#kafkaconnect#kafka#java
Habr

Как в Sidec благодаря exactly-once сократили потребление ресурсов без потери производительности

Меня зовут Сергей Гребенюк, я лидер разработки Sidec ( Росреестр ). Расскажу, как решили задачу объединения двух топиков с соотношением один ко многим и почему не устроило решение на Kafka-streams ( kafka docs ) и RocksDB ( github ). А также о том, как, опираясь на гарантии доставки exactly-once (EOS) ( confluent docs ), смогли снизить требования к ресурсам в несколько раз. На иллюстрации показаны два подхода к объединению топиков: с persistent cache и in-memory cache. Мы перейдём от первой схемы ко второй.

habr.com/ru/companies/sberbank

ХабрКак в Sidec благодаря exactly-once сократили потребление ресурсов без потери производительностиМеня зовут Сергей Гребенюк, я лидер разработки Sidec ( Росреестр ). Расскажу, как решили задачу объединения двух топиков с соотношением один ко многим и почему не устроило решение на Kafka-streams (...
#Sidec#потребление_ресурсов#kafkastreams
Habr

Kafka. Лучшие практики применения. Настройки Prudcer & Consumer

Привет, Хабр! Меня зовут Михаил, я являюсь ФинТех системным аналитиком, исполняющим роль архитектора на проектах. И сегодня я хочу поделиться материалами по Kafka, которые подготовил для обучения сотрудников из своей команды. В материале постарался отразить самые важные технические моменты по Kafka, которые будут подкреплены наглядными кейсами и примерами использования. Материал будет полезным как для начинающих, так и для продвинутых пользователей. Желаю приятного прочтения. Kafka. Лучшие практики применения.

habr.com/ru/articles/853652/

#kafka #кафка #kafka_consumer #producer/consumer #producer #consumer #kafkaconnect #kafka_listener #kafka_apache #kafka_connect

ХабрKafka. Лучшие практики применения. Настройки Prudcer & ConsumerПривет, Хабр! Меня зовут Михаил, я являюсь ФинТех системным аналитиком, исполняющим роль архитектора на проектах. И сегодня я хочу поделиться материалами по Kafka, которые подготовил...
Habr

Пишем свой Http Kafka Sink Connector

В данной статье приведу реализацию своего kafka http sink connector. Он не претендует на универсальность, но возможно поможет разобраться как разработать свой connector.

habr.com/ru/articles/851916/

ХабрПишем свой Http Kafka Sink ConnectorВ данной статье приведу реализацию своего kafka http sink connector. Он не претендует на универсальность, но возможно поможет разобраться как разработать свой connector. Confluent Http Sink Connector...
#kotlin#kafkaconnect
nielsb

New post: "Cross-Platform Compatibility Made Easy with Multi-Platform Docker Images: Azure Data Explorer Sink Connector & Kafka Connect"

Docker has revolutionized the way we package and deploy software applications.

However, it's challenging to maintain a single image that can work across multiple platforms.

This blog post explores the steps required to build and deploy multi-platform Docker images.

nielsberglund.com/post/2023-04

Niels BerglundCross-Platform Compatibility Made Easy with Multi-Platform Docker Images: Azure Data Explorer Sink Connector & Kafka ConnectIn this blog post, we'll explore the steps required to build and deploy multi-platform Docker images, without having to apply platform specific tags.
#kafka#azuredataexplorer#kusto
nielsb

New post: "Interesting Stuff - Week 11, 2023".

This week:

* Learn all about @azuredataexplorer and , thanks to Akshay Dixit.
* I finally finished the second post in the Leaderboard, Kafka, and ADX series
* ChatGPT and dialogue prompting. Very interesting
* An old colleague of mine -Ted Neward - ponders the impact of AI on developers.
* Where has all the Big Data gone?

Read all about it:

nielsberglund.com/post/2023-03

#AzureDataExplorer#KQL#kafka
TrendingLive feeds
About