Я делаю системы на обучении с подкреплением, которые учатся оптимизировать реальные процессы — управление, планирование, распределение ресурсов и последовательные решения, где обычная модель предсказания недостаточна. Ключевую ценность я вижу не в выборе модного алгоритма, а в правильной формализации: что считать состоянием, какие действия доступны агенту и как устроена награда. Ошибка именно здесь стоит дороже всего, поэтому первым делом мы разбираем вашу задачу до уровня, на котором её вообще можно обучать, и строим среду или симулятор, отражающий вашу динамику.
Под конкретную постановку я подбираю метод трезво. Непрерывное управление — как правило PPO или SAC, дискретные и комбинаторные решения — DQN и его развитие, контекстные ситуации — аккуратно настроенные бандиты вместо избыточной сложности. Дальше идёт полный цикл: векторизованные среды, шейпинг награды, учебный план сложности, поиск гиперпараметров и сравнение с честными бейзлайнами. Я показываю не одну удачную кривую, а воспроизводимый результат и понимание, за счёт чего он получен.
Внедрение я считаю частью работы, а не бонусом. Политика выгружается в компактный формат для инференса, добавляются проверки безопасности и поведение по умолчанию для состояний вне обучающего распределения, ставится мониторинг и регламент переобучения при дрейфе данных. В результате у вас остаётся действующий агент, прозрачный код и документация, по которой ваша команда сможет развивать систему самостоятельно.
— Формализация задачи, среды и симуляторы
— Дизайн функции награды и учебный план
— PPO, SAC, DQN, контекстные бандиты, offline RL
— Внедрение, безопасность, мониторинг и переобучение
Под конкретную постановку я подбираю метод трезво. Непрерывное управление — как правило PPO или SAC, дискретные и комбинаторные решения — DQN и его развитие, контекстные ситуации — аккуратно настроенные бандиты вместо избыточной сложности. Дальше идёт полный цикл: векторизованные среды, шейпинг награды, учебный план сложности, поиск гиперпараметров и сравнение с честными бейзлайнами. Я показываю не одну удачную кривую, а воспроизводимый результат и понимание, за счёт чего он получен.
Внедрение я считаю частью работы, а не бонусом. Политика выгружается в компактный формат для инференса, добавляются проверки безопасности и поведение по умолчанию для состояний вне обучающего распределения, ставится мониторинг и регламент переобучения при дрейфе данных. В результате у вас остаётся действующий агент, прозрачный код и документация, по которой ваша команда сможет развивать систему самостоятельно.
— Формализация задачи, среды и симуляторы
— Дизайн функции награды и учебный план
— PPO, SAC, DQN, контекстные бандиты, offline RL
— Внедрение, безопасность, мониторинг и переобучение
