#515 Доставка данных из Kafka в файловое хранилище

Компании:

Ozon

Темы:

System DesignEvent-Driven Architecture

Опишите, как бы вы реализовали отказоустойчивую систему доставки данных из топиков Кафка в распределенное файловое хранилище.

Условия:

Гарантия доставки - Exactly Once;
Выходной формат данных должен позволять читать сообщения (партиция, оффсет, заголовки, ключ, тело сообщения);
Задержка между временем сообщения в топике и записью в хранилище не должна быть больше 20 минут;
100+ топиков и динамическое подключение новых топиков;
20 Тб данных с топиков в сутки;
Рекомендуемый минимальный размер файла в хранилище 512 Мб.

Разбор вопроса

Ментор

Ответь как на реальном собеседовании. Я задам уточняющие вопросы, а затем сравню твой ответ с эталонным и покажу точность в %.

Войди, чтобы начать диалог Ментор ведёт диалог по текущему вопросу и учитывает предыдущие сообщения.

Войти