У нас разрослась инфраструктура данных: несколько СУБД, слой хранилища, десятки регламентных выгрузок и витрин, плюс отчёты в разных BI-инструментах. Проблема в том, что знание о данных живёт в головах отдельных сотрудников. Новый аналитик не понимает, какие таблицы существуют, какая из них актуальна и что означают колонки. В итоге люди дублируют расчёты, тянут данные из устаревших источников и получают противоречивые цифры, а разобраться, кто владелец конкретного набора, часто просто не у кого. Нам нужен каталог метаданных, который станет единой точкой входа: описания, ответственные, теги предметных областей и понятный поиск по всему хозяйству.
Отдельно важна прослеживаемость происхождения данных. Мы хотим видеть цепочку: из каких таблиц и через какие процессы формируется поле, какие витрины и дашборды зависят от него и что именно сломается при изменении структуры. Рядом с каждым объектом должны отображаться признаки качества — актуальность, прошёл ли набор проверки, не помечен ли как устаревший. Такой каталог снимает большую часть вопросов до того, как аналитик начнёт строить отчёт, и заметно повышает доверие к цифрам внутри компании.
Рассматриваем как готовые open-source решения, так и разумную кастомную сборку под наш стек — главное, чтобы систему могла поддерживать небольшая команда без тяжёлой лицензионной нагрузки. Ждём предложений по архитектуре, оценке трудозатрат и срокам внедрения.
Ожидаемый результат:
— Автоматический сбор метаданных из наших источников;
— Поиск по описаниям, владельцам и предметным тегам;
— Граф происхождения на уровне таблиц и полей;
— Отметки качества и процесс верификации наборов.
Отдельно важна прослеживаемость происхождения данных. Мы хотим видеть цепочку: из каких таблиц и через какие процессы формируется поле, какие витрины и дашборды зависят от него и что именно сломается при изменении структуры. Рядом с каждым объектом должны отображаться признаки качества — актуальность, прошёл ли набор проверки, не помечен ли как устаревший. Такой каталог снимает большую часть вопросов до того, как аналитик начнёт строить отчёт, и заметно повышает доверие к цифрам внутри компании.
Рассматриваем как готовые open-source решения, так и разумную кастомную сборку под наш стек — главное, чтобы систему могла поддерживать небольшая команда без тяжёлой лицензионной нагрузки. Ждём предложений по архитектуре, оценке трудозатрат и срокам внедрения.
Ожидаемый результат:
— Автоматический сбор метаданных из наших источников;
— Поиск по описаниям, владельцам и предметным тегам;
— Граф происхождения на уровне таблиц и полей;
— Отметки качества и процесс верификации наборов.
