Помогаю компаниям перевести обработку данных на Apache Airflow так, чтобы конвейеры работали сами, а не держались на ночных скриптах и удаче. Закрываю весь путь ETL/ELT: собираю данные из API, выгрузок, очередей и продуктовых баз, чищу и типизирую их, а затем гружу в хранилище строго по расписанию. Каждый поток — это DAG с прозрачными зависимостями: задачи идут в нужной последовательности и не запускаются, пока не готовы их источники.
Основное внимание уделяю устойчивости к сбоям. Настраиваю повторные попытки с растущей задержкой, делаю задачи идемпотентными, чтобы перезапуск не плодил дубли, и подключаю оповещения, которые сразу приходят в мессенджер или на почту при падении и при слишком долгом прогоне. Между этапами добавляю валидацию качества данных, чтобы битый источник не дошёл до дашборда, и разворачиваю мониторинг: длительность задач, очередь на обработку и процент успешных запусков. Историческую перезаливку превращаю в одну операцию вместо разбора ручных скриптов.
Подключаюсь к вашей инфраструктуре — PostgreSQL, MySQL, ClickHouse, Snowflake, BigQuery, S3-совместимое хранилище, модели dbt и внешние сервисы — и документирую каждый DAG, чтобы команда спокойно его дорабатывала. На выходе — репозиторий с историей изменений, понятный деплой и пайплайны, поведение которых можно объяснить и проверить.
— Разработка DAG, расписание, зависимости, сенсоры, бэкфиллы
— Повторы, идемпотентность, SLA, алерты и проверки качества данных
— Интеграции с хранилищами, базами, объектным хранилищем, API и dbt
Основное внимание уделяю устойчивости к сбоям. Настраиваю повторные попытки с растущей задержкой, делаю задачи идемпотентными, чтобы перезапуск не плодил дубли, и подключаю оповещения, которые сразу приходят в мессенджер или на почту при падении и при слишком долгом прогоне. Между этапами добавляю валидацию качества данных, чтобы битый источник не дошёл до дашборда, и разворачиваю мониторинг: длительность задач, очередь на обработку и процент успешных запусков. Историческую перезаливку превращаю в одну операцию вместо разбора ручных скриптов.
Подключаюсь к вашей инфраструктуре — PostgreSQL, MySQL, ClickHouse, Snowflake, BigQuery, S3-совместимое хранилище, модели dbt и внешние сервисы — и документирую каждый DAG, чтобы команда спокойно его дорабатывала. На выходе — репозиторий с историей изменений, понятный деплой и пайплайны, поведение которых можно объяснить и проверить.
— Разработка DAG, расписание, зависимости, сенсоры, бэкфиллы
— Повторы, идемпотентность, SLA, алерты и проверки качества данных
— Интеграции с хранилищами, базами, объектным хранилищем, API и dbt
