Помогу перевести аналитику на открытый лейкхаус поверх Apache Iceberg — так вы получаете возможности классического хранилища прямо на своём дата-озере, но без счетов за проприетарный движок и без замка на одного поставщика. Я разбираю, что лежит в объектном хранилище сейчас, и собираю из сырых файлов аккуратные таблицы с транзакциями, версиями и понятной структурой. Данные при этом остаются в открытых форматах: вы владеете ими целиком и в любой момент можете сменить инструмент или площадку без болезненной миграции.
Стартуем с аудита текущей раскладки: где узкие места по чтению, как устроены разделы, что тормозит и почему запросы дорого стоят. Дальше я переделываю схему партиционирования и сортировки под ваши реальные сценарии, включаю скрытое разбиение, чтобы аналитики не подставляли служебные колонки руками, и настраиваю безопасную эволюцию схемы — новые и переименованные поля появляются без переписывания истории. Обязательно поднимаю путешествие во времени и откат к снимку: неудачная загрузка откатывается одной командой. По движкам подключаю Spark для тяжёлой обработки, Trino для быстрых SQL-запросов и Flink для потокового приёма — всё на одних таблицах через общий каталог, с документацией и обучением команды.
— Аудит и проектирование таблиц Apache Iceberg
— Каталог и миграция с Hive или сырых файлов
— Скрытое партиционирование и эволюция схемы
— Путешествие во времени и откат к снимкам
— Подключение Spark, Trino и Flink к общим таблицам
Стартуем с аудита текущей раскладки: где узкие места по чтению, как устроены разделы, что тормозит и почему запросы дорого стоят. Дальше я переделываю схему партиционирования и сортировки под ваши реальные сценарии, включаю скрытое разбиение, чтобы аналитики не подставляли служебные колонки руками, и настраиваю безопасную эволюцию схемы — новые и переименованные поля появляются без переписывания истории. Обязательно поднимаю путешествие во времени и откат к снимку: неудачная загрузка откатывается одной командой. По движкам подключаю Spark для тяжёлой обработки, Trino для быстрых SQL-запросов и Flink для потокового приёма — всё на одних таблицах через общий каталог, с документацией и обучением команды.
— Аудит и проектирование таблиц Apache Iceberg
— Каталог и миграция с Hive или сырых файлов
— Скрытое партиционирование и эволюция схемы
— Путешествие во времени и откат к снимкам
— Подключение Spark, Trino и Flink к общим таблицам
