У нас копится большой объём сырых событий в MySQL, но пользы от них пока ноль — аналитики нет, и понять, что реально происходит с продуктом, невозможно. Ищем разработчика, который выстроит ETL-пайплайн в PostgreSQL и настроит BI-дашборд, где будут наглядно видны DAU, MAU, ARPU и конверсии воронки.
Логика такая: данные выгружаются из MySQL, очищаются и агрегируются на Python с помощью pandas и складываются в PostgreSQL по схеме fact/dimension для анализа событий, пользователей и выручки. Агрегации запускаются по расписанию через cron, а витрина с показателями строится в Grafana или Metabase, подключённой к PostgreSQL.
Отдельно нужен контроль качества данных — автоматические проверки количества строк и пустых значений, чтобы цифрам на дашборде можно было верить, а не перепроверять их вручную. Всё окружение поднимаем в Docker, чтобы после сдачи мы могли запускать и расширять пайплайн самостоятельно.
Компоненты:
— ETL: MySQL в PostgreSQL (Python + pandas)
— Модели данных (fact/dimension)
— Планировщик агрегаций (cron)
— Дашборд: Grafana или Metabase
— Метрики: DAU, MAU, ARPU, конверсии
— Контроль качества данных
Стек: Python 3 + PostgreSQL + Docker
Логика такая: данные выгружаются из MySQL, очищаются и агрегируются на Python с помощью pandas и складываются в PostgreSQL по схеме fact/dimension для анализа событий, пользователей и выручки. Агрегации запускаются по расписанию через cron, а витрина с показателями строится в Grafana или Metabase, подключённой к PostgreSQL.
Отдельно нужен контроль качества данных — автоматические проверки количества строк и пустых значений, чтобы цифрам на дашборде можно было верить, а не перепроверять их вручную. Всё окружение поднимаем в Docker, чтобы после сдачи мы могли запускать и расширять пайплайн самостоятельно.
Компоненты:
— ETL: MySQL в PostgreSQL (Python + pandas)
— Модели данных (fact/dimension)
— Планировщик агрегаций (cron)
— Дашборд: Grafana или Metabase
— Метрики: DAU, MAU, ARPU, конверсии
— Контроль качества данных
Стек: Python 3 + PostgreSQL + Docker
