на что направлено попарное тестирование
Александр Александров про тренды и технологии тестирования, про влияние Covid19 на рынок QA
Онлайн-тренинги
Что пишут в блогах (EN)
Разделы портала
Про инструменты
Каждый тестировщик пишет тесты по определенному принципу. Даже тот, кто слыхом не слыхал ни о каких методиках, так или иначе руководствуется рядом принципов, которые, как правило, держит в голове, или в редких случаях на бумаге. Но скажите, какой бывалый тестировщик не представлял себе фантастическую ситуацию, когда эти принципы реализованы в коде: софт создает тест-кейсы. Конечно до такой радужной перспективы еще очень далеко, но первые шаги на этом поприще уже сделаны…
Описание метода
Представьте себе, что вам нужно протестировать систему с большим числом параметров, влияющих на её работу. Ярким примером такого рода может быть конфигурационное тестирование: например проверка работы системы под различными операционными системами или работа сайта в различных браузерах. Кто знает, какое сочетание параметров приведет к сбою? Каждый тестировщик знает, что все комбинации не проверить. К примеру, для проверки всех сочетаний 10 параметров с 10 значениями каждый, потребуется 10,000,000,000 тестов, в то время как метод перебора пар позволяет реализовать сравнимое по качеству тестирование (учитывая количество и критичность найденных в результате багов) используя всего 177 тестов.
Итак, в чем же трюк? Метод парного тестирования основан на довольно простой, но от того не менее эффективной идее, что подавляющее большинство багов выявляется тестом, проверяющим один параметр, либо сочетание двух. Ошибки, причиной которых явились комбинации трех и более параметров как правило значительно менее критичны, чем пары параметров и тем более одного, не говоря уже о том что никто не мешает дополнить свое тестовое покрытие кейсами на желаемые комбинации параметров.
Перебрать все пары немудрено, трудность в том, чтобы обеспечить при этом минимум тестов, комбинируя проверки нескольких пар в одном тесте. Тут нам на помощь приходят математические методы, уходящие корнями к английским математикам девятнадцатого века. Одним из плодов их трудов стали ортогональные матрицы. Я лишь упоминаю их вскользь, дабы любители линейной алгебры могли навести справки, благо информации в интернете предостаточно. Что важно нам, так это то, что велосипед изобретать не нужно, и методы, по которым мы можем сформировать оптимальное покрытие, давно изобретены.
Рассмотрим как происходит оптимизация. Возьмем для примера таблицу параметров и значений следующего вида:
Переберем значения первого параметра со вторым (строки №1-4), первого с третьим (строки №5-8) и второго с третьим (строки №9-12). Удалив повторяющиеся наборы параметров (выделены серым), получим следующую таблицу тестов:
Зеленым выделены уникальные пары всех параметров в таблице. Теперь начинается самое интересное, значения выделенные белым не являются необходимыми для перебора всех пар в таблице, поэтому могут быть заменены на любое другое значение. Поэтому заменив их, мы можем оптимизировать тесты, добавив проверку пар из 5, 6 и 7 строк во вторую и третью строки, получим:
Как видно из примера выше, оптимизация даже такого малого набора параметров не так проста как могло бы показаться. При этом сложность задачи возрастает пропорционально росту числа параметров. Однако эта задача решаема, в чем мы убедимся в последствии.
Применение
Как показывает опыт, метод эффективен лишь на поздних этапах разработки, либо дополненный основными функциональными тестами. Например, если вы проводите конфигурационное тестирование, то прежде чем использовать парное тестирование следует убедиться, что основной сценарий функционирует на всех операционных системах с параметрами по умолчанию (что-то типа BVT). Это значительно облегчит локализацию будущих багов, ведь при парном тестировании в одном тесте фигурирует множество параметров со значениями не по умолчанию, каждый из которых может стать причиной сбоя и его локализация в этом случае весьма затруднительна. А в случае провала BVT следует отказаться от использования метода парного тестирования, так как многие тесты будут провальными, а исключение даже одного теста влечет за собой потерю как правило нескольких пар и смысл использования метода теряется.
Поэтому метод следует использовать лишь на стабильном функционале, когда текущие тесты уже теряют свою эффективность.
Для того чтобы воспользоваться методом необходимо выполнить несколько простых шагов:
1. Определиться с функциональностью, которую будем проверять
Как говаривал Козьма Прутков «Нельзя объять необъятное», поэтому прежде всего необходимо разделить функциональность на части: компоненты, функции, сценарии. Функциональность небольшой программы, например по записи дисков, упрощенно можно представить в виде всего двух сценариев: запись диска, стирание диска. Выбираем запись диска и переходим к следующему шагу.
2. Исследовать выбранный сценарий и выявить его параметры и их значения
На данном этапе следуют спросить себя, какие параметры сценария могут повлиять на его выполнение? В качестве параметров могут выступать как настройки самой программы, так и внешние факторы.
Упрощенно, параметры и их значения при записи диска можно представить в виде:
Вы наверняка обратили внимание, что параметр «Скорость записи» имеет значения, недопустимые для “DVD”, как же быть?. У этой маленькой задачки, есть несколько вариантов решения, одно из которых – это разделить таблицу на две. Стоит учитывать, что на практике параметров в этом сценарии гораздо больше, и несостыковок, было бы значительно больше.
Итак, поделив таблицу по типу носителя получим:
Открытый вебинар «Метод Pairwise Testing в Black Box тестировании»
Всем доброго времени суток!
Предлагаем вашему вниманию подробное описание открытого урока, посвящённого попарному тестированию. Мероприятие прошло всего пару дней назад и было приурочено к запуску курса «QA-специалист».
Преподаватель — Нина Деваева — Senior Tester, Team Leader и ISTQB-сертифицированный тестировщик, эксперт по направлению Quality Assurance.
На открытом уроке поговорили о необходимости такого вида техники тест-дизайна, как попарное тестирование (pairwise testing). Изучили кейсы применения на практике и подробно рассмотрели инструментарий, доступный для работы.
Перед началом вебинара поставили следующие цели:
Тест дизайн – это этап процесса тестирования ПО, на котором проектируются и создаются тестовые случаи (тест-кейсы) в соответствии с определёнными ранее критериями качества и целями тестирования. Некоторые испытывают затруднение, когда их спрашивают, зачем нужен тест-дизайн. Между тем, ответ кроется в одном из принципов тестирования, а именно: исчерпывающее тестирование недостижимо. И это действительно так за исключением каких-либо тривиальных случаев, когда входных данных очень мало. Да и по большему счёту мало какой бюджет «потянет» все возможные проверки, которыми можно покрыть наш продукт.
Тестирование методом черного ящика
Хорошо известный метод, не требующий длительных разъяснений. Если вкратце, то black box testing — это функциональное или нефункциональное тестирование, которое выполняется без знания внутренней структуры компонента или системы. Метод основан на работе исключительно с внешними интерфейсами тестируемой системы.
Техники тест-дизайна при использовании метода черного ящика, включают:
Так что же такое попарное тестирование?
Попарное тестирование (pairwise testing) — это разработка тестов методом черного ящика, в которой тестовые сценарии разрабатываются таким образом, чтобы выполнить все возможные отдельные комбинации каждой пары входных параметров. Собственно говоря, попарное тестирование позволяет нам сэкономить много времени.
Для pairwise testing используются алгоритмы, основанные на построении ортогональных массивов или на All-Pairs алгоритме, которые опираются на теоретические исследования в области комбинаторных алгоритмов, алгоритмов дискретной математики и, в частности, латинских квадратов. Давайте остановимся на этих алгоритмах подробнее.
Тестирование с использованием ортогонального массива
Orthogonal array testing — систематический подход к тестированию всех парных комбинаций переменных с использованием ортогональных массивов. Такой подход значительно уменьшает количество комбинаций переменных при проверке всех парных комбинаций.
Ортогональный массив по сути — это таблица, где m — число строк, n — число столбцов, которое соответствует числу входных параметров, k — количество вариантов значений элементов таблицы. Таблица обладает следующими свойствами:
Например, у нашего приложения есть 3 входных параметра, причем каждый бинарный (принимает значение «1» или «2»). Таким образом, все возможные комбинации входных данных можно представить так:
Для наглядности давайте предположим, что у нас есть приложение «Фонарик», которое:
Теперь давайте посмотрим, как будет выглядеть наша выборка после перевода в ортогональный массив:
Как видим, мы сократили число кейсов с 8 до 4 при 3 разных параметрах, принимающих бинарное значение. Это реальный выигрыш, который положительно отразится и на бюджете, и на ресурсах, которые мы используем.
All-Pairs Algorithm (алгоритм всех пар) — это комбинаторная методика, которая была специально создана для парного тестирования. В её основе лежит выбор возможных комбинаций значений всех переменных, в которых содержатся все возможные значения для каждой пары переменных. Исходя из определения, число комбинаций будет меньшее, чем при использовании ортогональных массивов.
При тестировании с использованием All-Pairs алгоритма выполняют следующие шаги:
Тулзы для попарного тестирования
Чтобы не тратить время на сведение всех данных, можно и нужно использовать инструменты для попарного тестирования. Вот некоторые из них:
Практика и ещё раз практика
Теперь давайте попробуем, как эти инструменты работают на деле. Итак, постарайтесь выполнить два простых задания:
Метод попарного тестирования
Nov 19, 2018 · 4 min read
Что же такое pairwise testing?
Pairwise testing — техника тест-дизайна, а именно метод обнаружения дефектов с использованием комбинационного метода из двух тестовых случаев. Он основан на наблюдениях о том, что большинство дефектов вызвано взаимодействием не более двух факторов (дефекты, которые возникают при взаимодействии трех и более факторов, как правило менее критичны). Следовательно, выбирается пара двух тестовых параметров, и все возможные пары этих двух параметров отправляются в качестве входных параметров для тестирования. Pairwise testing сокращает общее количество тест-кейсов, тем самым уменьшая время и расходы, затраченные на тестирование. Техника известна уже больше 20 лет, но только последние 5 лет мы можем наблюдать ее активное использование.
Дл я Pairwise testing используют алгоритмы, которые базируются на построении ортогональных матриц, или алгоритмы All-Pairs.
Тестирование с помощью ортогональных матриц
Данная техника тест-дизайна относится к статическим способам тестирование и используется в том случае, когда мы имеем дело с большим количеством входных данных, следовательно, исчерпывающие тестирование является недостижимым. Ортогональные матрицы применяются в конфигурационном, регрессионном, производительном, а так же в тестировании пользовательского интерфейса.
Для того, чтобы построить ортогональную матрицу для этого примера необходимо сделать так, чтобы два любые столбика (в нашем случае это параметры 1, 2 и 3) содержали в себе все возможные комбинации только один раз.
Таким образом, ортогональная матрица для нашего случая будет выглядеть таким образом:
Как мы видим, в столбцах 1 и 3 есть все возможные комбинации: (x,x),(x,y),(y,y),(y,x). Для других пар столбцов это правило работает аналогично.
Тестирование с помощью алгоритма All-Pairs
Аll-pairs testing — комбинаторный метод тестирование программного обеспечения, который проверяет все возможные дискретные комбинации параметров для каждой пары входных параметров системы. Исходя из этого, мы получим меньшее число комбинаций, чем при использовании ортогональных матриц.
Рассмотрим пример. Предположим, нам необходимо протестировать приложение для покупки/продажи б/у ноутбуков, мы имеем следующие переменные:
Если мы захотим протестировать все возможные комбинации, то мы должны составить 2 х 2 х 3 х 2 х 2 х 2 = 96 тест-кейса. Не многовато ли работы для тестирования формы?
Далее нам необходимо организовать переменные и значения.
Т.е. для каждого набора в столбце 1 мы помещаем оба значения столбца 2. То же самое мы повторяем с 3 столбцом.
У нас есть комбинация покупка&Киев и продажа&Харьков, но нету комбинации продажа&Киев и покупка&Харьков. Исправим это, поменяв местами значения во втором наборе третьего столбца.
Повторяем такие же манипуляции для колонок 4 и 5.
Колонка Доставка является более проблематичной, ведь нам не хватает комбинаций на покупка&встреча и продажа&почтой чтобы не нарушать отсортированные данные, нужно ввести еще 2 тестовых случая для этих комбинаций. Значком тильды “
” мы маркируем переменные, которые выступают произвольными. Таким образом мы получаем следующую таблицу.
Таким образом, мы получили готовые 8 тест-кейсов вместо 96.
Утилиты для автоматизации pairwise testing
Существует ряд ПО, которые помогут вам не только качественно, но и быстро создать тест-кейсы из большого количества параметров, самые популярные из них:
Заключение
Суммируя все вышесказанное, pairwise testing — прекрасный метод для повышения эффективности написания тест-кейсов. Он значительно сокращает количество комбинаций, которые будут покрыты, но остается очень хорошим с точки зрения обнаружения неисправностей. Метод очень прост в использовании, для его эксплуатации достаточно лишь определиться с функционалом для проверки, исследовать выбранный сценарий и его параметры и применить алгоритм, который определит оптимальное число тестов с полным перебором пар.
Александр Александров про тренды и технологии тестирования, про влияние Covid19 на рынок QA
Онлайн-тренинги
Что пишут в блогах (EN)
Разделы портала
Про инструменты
Если в качестве инструмента у вас имеется лишь молоток, каждая проблема начинает напоминать гвоздь. Абрахам Маслоу
В этой небольшой заметке я бы хотел рассмотреть инструмент для попарного тестирования от Microsoft – PICT (Pairwise Independent Combinatorial Testing). Уже несколько раз я применял его в своей работе и был доволен теми гибкими опциями, которые он имеет.
Для начала неплохо вспомнить, что такое Pairwise Testing. Есть интересная статья про парное тестирование на MSDN. Также про это можно почитать тут. Вкратце, Pairwise testing – это техника формирования наборов тестовых данных. Заключается она в следующем: формируются такие наборы данных, в которых каждое тестируемое значение каждого из проверяемых параметров хотя бы единожды сочетается с каждым тестируемым значением всех остальных проверяемых параметров. Предыдущее предложение может быть не совсем понятным, но принцип можно легко проиллюстрировать на следующем примере. Представим, что у нас есть параметры A, B и C принимающие значения Yes или No. Максимальное количество комбинаций значений этих параметров – 8. Но при использовании попарного тестирования достаточно четырех комбинаций, так как учитываются все возможные пары параметров (пара A и B, пара B и C, пара A и C):
Эту технику полезно применять тогда, когда нам не нужны все возможные сочетания значений параметров (особенно когда параметров много), а мы хотим только убедиться, что мы проверим все уникальные пары значений параметров.
Так что же PICT? PICT позволяет генерировать компактный набор значений тестовых параметров, который представляет собой все тестовые сценарии для всестороннего комбинаторного покрытия ваших параметров. К примеру представим, что у нас есть следующие параметры для тестирования (параметры относятся к тестированию создания разделов на жестком диске и взят из мануала к PICT):
Существует больше 4700 комбинаций этих значений. Будет очень сложно протестировать из за разумное время. Исследования показывают, что тестирование всех пар возможных значений обеспечивает очень хорошее покрытие и количество тест кейсов остается в пределах разумного. К примеру, это одна пара и другая; один тест кейс может покрывать много пар. Для набора приведенных выше параметров PICT создаст всего 60 тест кейсов (сравните с цифрой 4700!).
Рассмотрим работу с программой. Запускается PICT из командной строки.
На вход программа принимает простой текстовый файл с параметрами и их значениями, называемый Моделью, а на выход выдает сгенерированные тестовые сценарии.
Рассмотрим работу программы на примере из приведенной выше статьи из блога. Имеем следующие параметры и их значения: пол – мужской или женский; возраст – до 25, от 25 до 60, более 60; наличие детей – да или нет. Если перебирать все возможные значения, то количество сценариев будет 12. Составим модель и посмотрим какой результат нам выдаст программа.
Используем модель и получим 7 тестовых сценариев (вместо 12):
Разница не такая ощутимая, но она будет становится все более и более заметной при увеличении количества параметров или их значений.
Можно использовать прямой вывод и сохранение тест кейсов в Excel.
В результате будет создан Excel файл со следующим содержанием:
Но самое интересное это те возможности, которые предоставляет PICT для подобной генерации сценариев. Все они тщательно рассмотрены в мануале. Вот некоторые из них:
Александр Александров про тренды и технологии тестирования, про влияние Covid19 на рынок QA
Онлайн-тренинги
Что пишут в блогах (EN)
Разделы портала
Про инструменты
Автор: Катрина Клоки (Katrina Clokie)
Перевод: Ольга Алифанова
Подход к парному тестированию
Парное тестирование – это способ подойти к тест-дизайну путем одновременного тестирования одной и той же функциональности двумя людьми, находящимися рядом друг с другом и постоянно обменивающимися идеями.
Объединяясь в пару, эти люди используют одно и то же устройство для тестирования. Один из них манипулирует клавиатурой (хотя клавиатура может переходить из рук в руки во время сессии), а другой генерирует идеи для тестов, следит за процессом и ведет записи, слушает, задает вопросы, ищет вспомогательные материалы…
Пара должна работать над одной и той же задачей, имеющей общую, четкую, ясную обоим цель. Хоть они и работают вместе, кто-то один берет на себя полноту ответственности. Этот человек может предварительно подготовиться, но лучше, если пара не будет загонять себя в жесткие рамки. Для начала вполне сгодится простой высокоуровневый чек-лист или набор идей для тестов.
Во время парной сессии тестировщики должны много разговаривать – не меньше, чем тестировать – с целью добиться общего понимания, что они, собственно, делают, и что еще важнее – зачем это вообще делается.
Достоинства парного тестирования
Я выписала преимущества этого подхода из разных источников и сгруппировала их:
1. Высокая креативность
Работа в паре заставляет обоих участников объяснять свои идеи и реагировать на чужие. Просто высказать свою идею вслух – уже хороший способ сконцентрироваться и сгенерировать новые мысли.
Когда над проблемой работают двое, и каждый привносит в решение свежую информацию и свежий взгляд, это ведет к пониманию, как легко человек может попасть под эффект «туннельного зрения», работая в одиночку.
Парное тестирование дает возможность тесного контакта между коллегами, которые узнают друг друга лучше и практикуются в коммуникации и поиске решений для возникающих проблем.
Товарищеские чувства и постоянная обратная связь по процессу тестирования, которая необходима для координации действий в паре, улучшает климат на рабочем месте.
2. Высокая производительность
Каждый должен сконцентрироваться на задаче – иначе он подведет напарника.
За счет работы в паре тот, кто владеет клавиатурой, может следовать за полетом своих мыслей, не отвлекаясь на заметки или поиск информации. Это позволяет не потерять ход размышлений.
Когда двое работают в паре, это сильно снижает желание окружающих отвлекать их от дела.
В сильной паре достоинства обоих участников взаимно компенсируют их недостатки, что позволяет людям учиться друг к друга.
Это хороший способ обучать новичков на личном примере напарника. Техника также полезна для опытных тестировщиков, если они раньше не работали в этой отрасли –они быстрее познакомятся с бизнес-спецификой.
Ниже – подборка отзывов о парном тестировании, которые, как мне кажется, могут быть полезны:
Я занимаюсь парным тестированием или демонстрацией? Важно уметь их различать. Если вы сидите рядом с кем-то, и этот кто-то играет ведущую роль в ваших диалогах в течение сессии тестирования – то это что угодно, только не парное тестирование.
Парное тестирование всегда основано на партнерстве. Расспросы и критика не должны звучать, как угрозы и обвинения. Это очень важно – ваш напарник фактически проводит ревью вашей работы на лету, и нужно уметь реагировать на его комментарии. Его обратная связь может содержать идеи для других тестов, и стоит попробовать их провести, если это годные мысли. Если у вашей сессии есть определенная цель, а ваши свежие идеи уводят вас от этой цели, можно отложить их на потом или сделать их целью следующей сессии.
Озвучивайте ход своих мыслей в процессе сессии. О чем вы думаете? Может, вы ищете файл? Какой тест вы сейчас пишете? Почему именно этот? Когда я как разработчик занимался парным тестированием, то зачастую молчал, создавая код. По большей части я в это время что-то искал, а мой напарник чувствовал себя ненужным, потому что не знал. Чем мне помочь. Когда он пожаловался на это, я начал описывать, что именно я хочу сделать, и он смог советовать мне, на какие секции кода обратить внимание.
Если вы тестировщик, задавайте вопросы. Иногда это непросто – вопросы кажутся вам идиотскими, особенно поначалу. Когда я был в паре на месте тестировщика, я не очень-то стремился высказываться, потому что не хотел, чтобы программист думал, что я учу его работать (а также о том, какой я идиот). Никто из тех, с кем я работал, ни разу не оскорбился и не решил, что я тупица. Более того, ряд моих «дурацких» вопросов привел к оживленной дискуссии, в ходе которой мы меняли стратегию, отказываясь от той, которую изначально выбирал разработчик.
Если кто-то в паре считает, что эта практика – исключительно одностороннее обучение, ничего хорошего из этого не выйдет. Парное тестирование эффективно только в обстановке взаимного уважения и доверия.
«Ведущий» партнер должен убедиться, что «ведомый» активно участвует в обсуждениях и понимает, что происходит. Поощряйте размышления, коммуникацию, держите партнера в курсе причин, побуждающих вас действовать так или иначе.
Доверяйте напарнику – он ведет вас по этому пути. Он тоже должен верить, что вы сообщите, если путь завел вас куда-то не туда. Хороший партнер непременно скажет вам об этом, и вы вместе вырулите на верную дорогу.
Доверие и общение – основа парного тестирования, а также базовый элемент создания хорошего ПО.
Я считаю, что парное тестирование идеально подходит для некоторых специфических ситуаций. Например, вы взяли новичка, который не знаком с системой и не знает, Как ее тестировать. Пусть он учится, тестируя в паре! Если вы обучаете кого-то, кто только начинает свой путь в тестировании (или пытаетесь обучить новым техникам опытного тестировщика), есть смысл совместно поработать над реальной, серьезной, важной задачей тестирования, деля одну клавиатуру на двоих в течение, скажем, часа. И, наконец, если вы и ваш коллега находите разные типы багов – поработайте вместе, чтобы поучиться друг у друга. Понаблюдайте, как он работает, вникните в его образ мыслей, чтобы понять, как он находит свои баги.
Хочется отдельно отметить, что все вышеперечисленные ситуации завязаны на обучение.
…этот подход сильно снижает боязнь ошибиться и борется с практикой взаимных обвинений… Если что-то пошло не так – это не вина одного и только одного человека.
Тестируя вдвоем, вы найдете баги, которые никогда не нашли бы в одиночку. Вы разные люди, которые по-разному подходят к тестированию, и совместно вы попробуете те способы, о которых никогда не додумались бы самостоятельно. К тому же вы найдете больше информации о баге, так как по-разному подходите к его локализации.
Организации все чаще нанимают людей с проблемами зрения или другими проблемами здоровья в качестве тестировщиков доступности, однако эти люди работают в одиночку. Можно повысить их ценность, устраивая парные сессии тестирования и добавив в команду тестировщика, не имеющего физических проблем.