Помогаю вывести Python-нагрузки на Ray, когда одной машины уже не хватает, а переписывать проект не хочется. Работаю со всем циклом: распределённое обучение моделей и перебор гиперпараметров, пакетная и потоковая обработка данных, обслуживание моделей с низкой задержкой и превращение последовательного кода в параллельный. Идея приземлённая: рост от ноутбука до кластера идёт эволюцией, а не революцией. Существующие функции оборачиваются в удалённые задачи и акторы, а бизнес-логика не меняется.
Обычно всё начинается с кода, который уже работает, но не тянет по времени или по объёму данных. Сначала измеряю, где реально теряются секунды, и решаю, что вынести в задачу, актор или датасет. Поднимаю Ray на ваших серверах или в облаке, настраиваю автоскейлинг, чтобы простаивающие узлы не жгли бюджет, и закладываю восстановление после сбоев. Обучение веду через Ray Train и Ray Tune, конвейеры данных — через Ray Data, онлайн-инференс — через Ray Serve с батчингом и репликами.
На выходе — понятный код, инструкция по развёртыванию без моего участия и трезвая оценка стоимости и потолка масштабирования. Если задачу закрывает обычный multiprocessing, честно скажу и не стану навязывать лишнее.
Обычно всё начинается с кода, который уже работает, но не тянет по времени или по объёму данных. Сначала измеряю, где реально теряются секунды, и решаю, что вынести в задачу, актор или датасет. Поднимаю Ray на ваших серверах или в облаке, настраиваю автоскейлинг, чтобы простаивающие узлы не жгли бюджет, и закладываю восстановление после сбоев. Обучение веду через Ray Train и Ray Tune, конвейеры данных — через Ray Data, онлайн-инференс — через Ray Serve с батчингом и репликами.
На выходе — понятный код, инструкция по развёртыванию без моего участия и трезвая оценка стоимости и потолка масштабирования. Если задачу закрывает обычный multiprocessing, честно скажу и не стану навязывать лишнее.
