Помогаю компаниям выжать из Amazon Redshift честную скорость на больших массивах данных. Всё держится на схеме, поэтому первым делом разбираю ваши факты и измерения и подбираю стиль распределения и ключи сортировки не по общим советам, а по тому, как запросы у вас реально фильтруют и соединяют строки. Правильный DISTKEY оставляет связанные записи на одном узле и убирает лишний обмен по сети, грамотный SORTKEY даёт планировщику пропускать ненужные блоки, а поколоночные кодировки сжатия уменьшают объём каждого сканирования.
Дальше беру на себя всё, что двигается вокруг схемы. Настраиваю загрузку из Amazon S3 командой COPY, ставлю VACUUM и ANALYZE по расписанию, чтобы статистика оставалась достоверной, и развожу очереди управления нагрузкой и concurrency scaling, чтобы тяжёлая отчётность не душила живые дашборды. Переписываю самые медленные запросы прямо из ваших логов, проверяя каждый по плану выполнения, подключаю хранилище к вашим BI-инструментам и раздаю роли и права. Возьмусь за задачу целиком — переносите ли вы устаревшее хранилище, запускаете аналитику с нуля или спасаете кластер, переставший успевать.
— Схема с обоснованными ключами распределения и сортировки
— Загрузка из S3, конвейеры COPY, регламент VACUUM и ANALYZE
— Ускорение запросов, WLM, concurrency scaling и подключение BI
Дальше беру на себя всё, что двигается вокруг схемы. Настраиваю загрузку из Amazon S3 командой COPY, ставлю VACUUM и ANALYZE по расписанию, чтобы статистика оставалась достоверной, и развожу очереди управления нагрузкой и concurrency scaling, чтобы тяжёлая отчётность не душила живые дашборды. Переписываю самые медленные запросы прямо из ваших логов, проверяя каждый по плану выполнения, подключаю хранилище к вашим BI-инструментам и раздаю роли и права. Возьмусь за задачу целиком — переносите ли вы устаревшее хранилище, запускаете аналитику с нуля или спасаете кластер, переставший успевать.
— Схема с обоснованными ключами распределения и сортировки
— Загрузка из S3, конвейеры COPY, регламент VACUUM и ANALYZE
— Ускорение запросов, WLM, concurrency scaling и подключение BI
