Наш сервис перегружает обработку запроса тяжёлыми операциями, из-за чего клиенты ждут ответ дольше, чем нужно, а страница не отдаётся вовремя. Задача — перенести такие операции в отдельную систему фоновых заданий: приложение только регистрирует задание и мгновенно отдаёт ответ, а фоновые обработчики самостоятельно разбирают очередь и выполняют работу. В основе нужны именованные очереди для разделения типов заданий, пулы обработчиков с регулируемым числом параллельных потоков и поддержка отложенного запуска, когда задание становится доступным только к назначенному времени. Критично реализовать автоматические повторы с постепенно растущими интервалами и отдельное хранилище для заданий, исчерпавших лимит попыток, чтобы ни одно из них не пропадало незаметно.
Вторая половина работы — прозрачность процесса. Требуется панель наблюдения, отражающая происходящее вживую: интенсивность обработки по каждой очереди, число завершённых и упавших заданий, текущее наполнение очереди с разбивкой на ожидающие и выполняемые, а также типичное и максимальное время выполнения. По упавшему заданию я должен видеть текст ошибки, переданные данные и всю цепочку повторов, а также одним нажатием возвращать его на повторную обработку. Панель должна давать возможность останавливать очередь, плавно выводить обработчики из работы и просматривать отложенные задания до их старта. Сразу оговорю рамки: это не интерфейс планировщика для запуска периодических задач и не шлюз пересылки вебхуков. Суть — именно асинхронная обработка через обработчиков и глубокая наблюдаемость над ней.
Ожидаю обоснованное предложение по хранилищу заданий. Для меня важны гарантия выполнения не менее одного раза, защита при одновременной работе нескольких обработчиков, исключающая двойную обработку одного задания, и корректное завершение работы при выкатке новой версии. Итог — проверенный код с внятной инструкцией по установке, чтобы команда могла запустить систему и дальше её развивать.
— Именованные очереди с пулами обработчиков и регулируемой параллельностью
— Повторы с нарастающими интервалами и хранилище невыполненных заданий
— Отложенные и запланированные задания, доступные к назначенному времени
— Живая панель: интенсивность, сбои, наполнение очередей, задержки
— Ручной перезапуск задания, пауза очереди и плавный вывод обработчиков
Вторая половина работы — прозрачность процесса. Требуется панель наблюдения, отражающая происходящее вживую: интенсивность обработки по каждой очереди, число завершённых и упавших заданий, текущее наполнение очереди с разбивкой на ожидающие и выполняемые, а также типичное и максимальное время выполнения. По упавшему заданию я должен видеть текст ошибки, переданные данные и всю цепочку повторов, а также одним нажатием возвращать его на повторную обработку. Панель должна давать возможность останавливать очередь, плавно выводить обработчики из работы и просматривать отложенные задания до их старта. Сразу оговорю рамки: это не интерфейс планировщика для запуска периодических задач и не шлюз пересылки вебхуков. Суть — именно асинхронная обработка через обработчиков и глубокая наблюдаемость над ней.
Ожидаю обоснованное предложение по хранилищу заданий. Для меня важны гарантия выполнения не менее одного раза, защита при одновременной работе нескольких обработчиков, исключающая двойную обработку одного задания, и корректное завершение работы при выкатке новой версии. Итог — проверенный код с внятной инструкцией по установке, чтобы команда могла запустить систему и дальше её развивать.
— Именованные очереди с пулами обработчиков и регулируемой параллельностью
— Повторы с нарастающими интервалами и хранилище невыполненных заданий
— Отложенные и запланированные задания, доступные к назначенному времени
— Живая панель: интенсивность, сбои, наполнение очередей, задержки
— Ручной перезапуск задания, пауза очереди и плавный вывод обработчиков
