У нас данные обрабатываются раз в сутки тяжёлыми ночными выгрузками, и это перестало нас устраивать: решения по продукту и поддержке мы принимаем по вчерашней картине. Хотим построить конвейер стриминга на Apache Kafka, чтобы события из наших приложений и сервисов уходили в поток сразу, обрабатывались по ходу и оказывались в отчётах и на мониторах почти мгновенно. Задача — уйти от батчей к непрерывному потоку данных.
По содержанию нужен рабочий конвейер целиком. Продумать топики под наши события, подключить публикацию из уже работающих сервисов, сделать обработку потока — очистку, обогащение, склейку и подсчёт агрегатов, — и настроить получателей, которые складывают данные в хранилище и обновляют оперативные панели. Отдельно важна устойчивость: без потери сообщений при перезапуске брокеров и пиках трафика, с внятными гарантиями доставки и с возможностью перечитать поток с нужного момента, когда подключаем новый обработчик или пересобираем испорченную витрину.
Нужен человек с реальным опытом эксплуатации Kafka под нагрузкой, а не только пробных запусков. Расскажите, как подберёте число партиций и срок хранения под наши объёмы, как будете вести версии формата событий и по каким сигналам отслеживать отставание получателей. Мы передадим примеры сообщений, описание текущей ночной логики и стенд для нагрузочного теста. Ждём короткий план работ, оценку по срокам и стоимости.
По содержанию нужен рабочий конвейер целиком. Продумать топики под наши события, подключить публикацию из уже работающих сервисов, сделать обработку потока — очистку, обогащение, склейку и подсчёт агрегатов, — и настроить получателей, которые складывают данные в хранилище и обновляют оперативные панели. Отдельно важна устойчивость: без потери сообщений при перезапуске брокеров и пиках трафика, с внятными гарантиями доставки и с возможностью перечитать поток с нужного момента, когда подключаем новый обработчик или пересобираем испорченную витрину.
Нужен человек с реальным опытом эксплуатации Kafka под нагрузкой, а не только пробных запусков. Расскажите, как подберёте число партиций и срок хранения под наши объёмы, как будете вести версии формата событий и по каким сигналам отслеживать отставание получателей. Мы передадим примеры сообщений, описание текущей ночной логики и стенд для нагрузочного теста. Ждём короткий план работ, оценку по срокам и стоимости.
