Помогаю командам перестать ловить ошибки в данных постфактум. Я настраиваю автоматические тесты данных на Great Expectations и близких инструментах, чтобы некорректные значения отсекались прямо в пайплайне, а не всплывали позже в отчёте перед руководством. По сути я формализую то, что аналитики и так знают о своих таблицах, и превращаю это в набор правил.
Сначала я снимаю профиль ваших таблиц и выясняю у пользователей, где чаще всего рвутся данные. Затем описываю ожидания: диапазоны для числовых полей, обязательные непустые колонки, уникальность идентификаторов, допустимые категории, разумные даты, контроль резких сдвигов в распределениях и проверку свежести выгрузки. Правила встраиваю в ваши оркестраторы и скрипты — Airflow, dbt, cron или самописные загрузчики, — чтобы сбойный батч останавливался.
При падении прилетает внятное уведомление о том, какая проверка сработала, а Data Docs наглядно показывает все проверки и процент прохождения. На выходе — аккуратный код, инструкция по сопровождению и короткое обучение команды.
— Профилирование таблиц и список правил по приоритету
— Встраивание проверок в оркестраторы и загрузчики
— Уведомления об аномалиях и устаревании данных
— Настройка Data Docs, документация и обучение
Сначала я снимаю профиль ваших таблиц и выясняю у пользователей, где чаще всего рвутся данные. Затем описываю ожидания: диапазоны для числовых полей, обязательные непустые колонки, уникальность идентификаторов, допустимые категории, разумные даты, контроль резких сдвигов в распределениях и проверку свежести выгрузки. Правила встраиваю в ваши оркестраторы и скрипты — Airflow, dbt, cron или самописные загрузчики, — чтобы сбойный батч останавливался.
При падении прилетает внятное уведомление о том, какая проверка сработала, а Data Docs наглядно показывает все проверки и процент прохождения. На выходе — аккуратный код, инструкция по сопровождению и короткое обучение команды.
— Профилирование таблиц и список правил по приоритету
— Встраивание проверок в оркестраторы и загрузчики
— Уведомления об аномалиях и устаревании данных
— Настройка Data Docs, документация и обучение
