Помогаю компаниям перестать гонять данные из системы в систему и завести один SQL-движок Trino (или Presto) поверх всего, что у вас есть. Смысл простой: у вас уже стоят объектное хранилище S3 с таблицами Hive или Iceberg, реляционные базы PostgreSQL и MySQL, аналитический ClickHouse, потоки Kafka, поиск в Elasticsearch. Я не заставляю всё это сливать в одно место, а подключаю как есть и открываю аналитикам единый доступ, где один запрос спокойно джойнит большую таблицу фактов из озера со справочником из боевой базы. Федерация из красивого слова превращается в рабочий инструмент.
Работу веду слоями. Сначала каталоги и коннекторы: чистые конфиги подключений, разбор схем, выбор формата таблиц, настройка метастора или Glue, чтобы разделы находились правильно и ничего не терялось. Потом производительность под ваши реальные запросы: размеры координатора и воркеров, лимиты памяти и spill на диск, количество сплитов, проталкивание условий и агрегатов вниз к источнику, переписывание тяжёлых запросов, которые читают гигабайты вместо мегабайтов. И отдельно — безопасность под требования аудита: TLS, вход по учёткам, права на каталоги, схемы и отдельные колонки, полный журнал запросов.
На выходе — не разовая демонстрация, а воспроизводимая установка с документацией, которую вашей команде не страшно поддерживать. Подниму Trino на серверах, в Docker или Kubernetes, подружу с вашим BI и планировщиком, покажу инженерам, как читать план выполнения и держать интерактивную скорость на больших объёмах. Один язык запросов над всеми хранилищами, без ночных копирований и лишних витрин.
— Подключение S3/Hive/Iceberg, реляционных и NoSQL-баз, Kafka
— Ускорение запросов: память, спліты, pushdown фильтров и агрегатов
— Разграничение доступа по колонкам и строкам, TLS, журнал аудита
— Установка в Kubernetes или на серверах с мониторингом
Работу веду слоями. Сначала каталоги и коннекторы: чистые конфиги подключений, разбор схем, выбор формата таблиц, настройка метастора или Glue, чтобы разделы находились правильно и ничего не терялось. Потом производительность под ваши реальные запросы: размеры координатора и воркеров, лимиты памяти и spill на диск, количество сплитов, проталкивание условий и агрегатов вниз к источнику, переписывание тяжёлых запросов, которые читают гигабайты вместо мегабайтов. И отдельно — безопасность под требования аудита: TLS, вход по учёткам, права на каталоги, схемы и отдельные колонки, полный журнал запросов.
На выходе — не разовая демонстрация, а воспроизводимая установка с документацией, которую вашей команде не страшно поддерживать. Подниму Trino на серверах, в Docker или Kubernetes, подружу с вашим BI и планировщиком, покажу инженерам, как читать план выполнения и держать интерактивную скорость на больших объёмах. Один язык запросов над всеми хранилищами, без ночных копирований и лишних витрин.
— Подключение S3/Hive/Iceberg, реляционных и NoSQL-баз, Kafka
— Ускорение запросов: память, спліты, pushdown фильтров и агрегатов
— Разграничение доступа по колонкам и строкам, TLS, журнал аудита
— Установка в Kubernetes или на серверах с мониторингом
