Проверять нужно ровно то, что делает покупатель, и в том же порядке. Открыл карточку товара, положил в корзину, поменял количество, убрал лишнее, ввёл промокод и увидел новую сумму, а потом снял промокод и увидел старую. Выбрал доставку — сумма пересчиталась. Зарегистрировался или вошёл, в том числе ошибся паролем. Дошёл до оплаты. Заглянул в личный кабинет за историей заказов и повторил прошлый заказ. Отдельным блоком — мобильная версия: с телефона у нас оформляется большая часть заказов, и ломается чаще всего именно она. Запуск — автоматический, при каждой сборке, без человека, который должен об этом вспомнить.
Разбирательство после падения не должно превращаться в переписку «покажи ещё раз». Мне нужен отчёт, который открывает менеджер и сразу видит: вот сценарий, вот шаг, вот скриншот экрана в момент падения, вот видеозапись прогона целиком. И нужна инструкция для наших разработчиков — как добавить новый сценарий, как переименовать шаг, что делать, когда тест начал вести себя странно; иначе набор проживёт ровно до вашего последнего рабочего дня.
Условия, на которых работаем: тесты гоняются на тестовом контуре с тестовым платёжным ключом, настоящие оплаты не проводятся; тестовые заказы не попадают в отчётность магазина; тест, падающий через раз, чинится или удаляется — ненадёжный тест хуже отсутствующего, потому что его перестают читать.
Объём работ:
— сценарии полного пути покупателя: карточка товара, корзина, промокод, доставка, оплата;
— сценарии регистрации, входа и личного кабинета с историей и повторным заказом;
— отдельные сценарии для мобильной версии;
— встраивание запуска в сборку с понятным итогом и остановкой выкладки при падении;
— отчёт для нетехнического читателя со скриншотом шага падения;
— видеозапись упавшего прогона с понятным сроком хранения;
— письменная инструкция по добавлению и поддержке сценариев для наших разработчиков;
— разбор первых реальных падений вместе с нашей командой.