Написать

Как оценить эффективность тестировщика на аутстаффинге: показатели качества и примеры расчётов

Эффективность тестировщика на аутстаффинге оценивают по рискам, качеству проверок и дефектам после выпуска, а не по количеству найденных ошибок.

Тестировщик закрыл 80 проверок за день. Это хорошо? Неизвестно. Возможно, он проверял простые формы. Возможно, пропустил ошибку, из-за которой завтра остановится оплата. Количество тестов само по себе мало говорит о пользе работы. Особенно когда специалист подключён извне и руководитель видит только отчёт.


Как оценить работу тестировщика на аутстаффинге: короткий ответ


Смотрите на качество проверок, серьёзность найденных дефектов, долю ошибок, дошедших до пользователей, и своевременность обратной связи команде. Метрики сравнивают в динамике и с учётом сложности изменений. Не стоит делать количество заведённых ошибок личным планом тестировщика: это подталкивает к регистрации мелких дефектов вместо поиска действительно опасных проблем.


Семь показателей эффективности QA-специалиста


Показатель Как считать или оценивать Ограничение
Дефекты после выпуска Число подтверждённых ошибок, обнаруженных после выпуска Зависит от объёма изменений и использования
Доля критичных пропусков Критичные ошибки после выпуска / все критичные ошибки за период Нужна единая шкала критичности
Повторные открытия Повторно открытые дефекты / закрытые дефекты Причина может быть у разработки или требований
Покрытие рисков Какие критичные сценарии реально проверены Не равно проценту строк кода
Время обратной связи Время от передачи сборки до сообщения о блокирующей проблеме Зависит от готовности окружения
Воспроизводимость дефектов Есть шаги, данные, ожидаемый и фактический результат Оценка качества описания, не количества
Участие в профилактике Замечания к требованиям до начала разработки Сложно свести к одному числу


Пример: как считать пропущенные критичные ошибки


За месяц команда обнаружила 12 критичных дефектов до выпуска и ещё 3 после него. Доля пропусков среди всех выявленных критичных ошибок: 3 / (12 + 3) × 100% = 20%. Это не означает, что тестировщик «работает на 80%»: на показатель влияют изменения требований, сроки, окружение и участие других участников команды. Он нужен для разбора причин, а не для штрафа.


Какие показатели не стоит использовать отдельно


Число тест-кейсов легко увеличить, дробя одну проверку на несколько. Число ошибок растёт на нестабильном продукте и падает на зрелом, даже если тестировщик работает одинаково хорошо. Процент автоматизации ничего не говорит о том, проверяются ли самые рискованные сценарии. Поэтому любой показатель требует контекста.


Как поставить задачи тестировщику на аутстаффинге в первый месяц


На первой неделе договоритесь о карте рисков: какие пользовательские сценарии нельзя сломать. На второй проверьте качество описания дефектов и взаимодействие с разработчиками. К концу месяца посмотрите, какие ошибки повторяются, сколько времени занимает обратная связь и что можно автоматизировать. Важно фиксировать изменения условий: если тестовая среда недоступна половину недели, оценивать скорость по обычной норме нельзя.


Ручное и автоматизированное тестирование: разные ожидания


Если нужен специалист для ручной проверки, посмотрите услугу аутстаффинга QA Manual.

Ситуация Для ручного тестирования Для автоматизации
Новая функция Исследовать сценарии и пограничные случаи Определить устойчивые проверки для повторения
Частые выпуски Проверять критичные пользовательские пути Следить за стабильностью автоматических проверок
Нестабильные требования Быстро уточнять ожидаемое поведение Не автоматизировать то, что меняется ежедневно
Сбой после выпуска Помочь воспроизвести проблему Проверить, можно ли предупредить повторение


Что спросить у подрядчика по аутстаффингу тестировщиков


Уточните, кто отвечает за доступы и тестовые данные, какие инструменты использует команда, кто расставляет приоритеты дефектам и как будет организована обратная связь. Если нужен специалист по автоматизации, отдельно согласуйте поддержку уже написанных проверок. Сам факт наличия автоматических тестов не гарантирует их полезности.

На сайте AUgment есть отдельные услуги по ручному, автоматизированному и нагрузочному тестированию. Материал о выборе типа тестировщика уже опубликован в блоге; эта статья отвечает на следующий вопрос — как оценивать результат после подключения.


Как AUgment организует подбор тестировщика и что проверяет до старта


Общий порядок подключения специалистов и примеры проектов представлены на главной странице AUgment.

Для заказчика важно не просто получить резюме с названием «QA», а понять, сможет ли человек работать с конкретным продуктом. При подборе тестировщика AUgment предлагает кандидатов под требования проекта и предусматривает интервью с заказчиком. На сайте компании отдельно описан подбор инженеров по тестированию, а в блоге разобраны различия между ручным, автоматизированным и смешанным тестированием.

На предварительной встрече имеет смысл проверить, как кандидат читает требования, выделяет риски и объясняет найденную ошибку разработчику. Например, попросить разобрать форму оформления заказа: какие проверки нужны в первую очередь, что будет критичным дефектом, какие данные следует подготовить. Это даёт более полезную информацию, чем вопрос о количестве тестовых сценариев, написанных на предыдущей работе.

Важная граница: на сайте AUgment подтверждены подбор и интервью кандидатов, но не опубликована единая внутренняя система оценки качества всех тестировщиков после выхода. Поэтому следующие показатели — рекомендуемая модель управления проектом, а не заявление о том, что компания уже использует именно такую систему.


Сценарий: почему тестировщик находит много ошибок, а качество не растёт


Команда выпускает обновления интернет-магазина дважды в неделю. Тестировщик сообщает о десятках дефектов интерфейса, но после выпуска пользователи по-прежнему сталкиваются с невозможностью оплатить заказ. По количеству заведённых задач специалист выглядит продуктивным. По влиянию на бизнес — нет.

В такой ситуации сначала нужно пересмотреть карту рисков. Оплата, регистрация и оформление заказа получают более высокий приоритет, чем второстепенные визуальные расхождения. Затем определить, какие проверки должны выполняться перед каждым выпуском, кто подтверждает исправление критичных ошибок и какие дефекты обнаруживаются уже пользователями.

Полезно смотреть на тенденцию за несколько выпусков, а не делать вывод по одной неделе. Рост числа ошибок иногда означает, что тестировщик наконец получил доступ к проблемной части продукта. Снижение числа ошибок тоже неоднозначно: продукт мог стать стабильнее, а могло уменьшиться покрытие проверками.


Как согласовать ожидания на первые 30 дней


Для команд, которые регулярно выпускают обновления, полезно также изучить аутстаффинг для продуктовых компаний.

В первую неделю тестировщик знакомится с продуктом, критическими пользовательскими сценариями и правилами оформления дефектов. К концу второй недели у команды должна появиться согласованная карта рисков: что проверяется всегда, что — по изменению, а что сознательно остаётся за пределами текущего объёма работ.

На третьей и четвёртой неделе уже можно обсуждать показатели. Для ручного тестирования — долю проверенных критичных сценариев, понятность отчётов и повторные дефекты. Для автоматизации — стабильность проверок, время выполнения, число ложных срабатываний и расходы на поддержку. Целевые значения нельзя переносить с другого продукта без учёта его зрелости.

Результат месяца — не красивый отчёт с максимальным числом тестов, а понятная картина качества и решение, какие риски команда готова принять перед следующим выпуском.

Частые вопросы
Сколько ошибок должен находить тестировщик в день?
Как оценить тестировщика, если ошибок почти нет?
Можно ли сравнивать двух QA по числу тест-кейсов?
Кто отвечает за качество продукта при аутстаффинге тестировщика?
Когда менять тестировщика на проекте?