Лига тестировщиков

Уровни тестирования:

Компонентное — Проверяем отдельно, каждый кубик колбаски и картошки.

Интеграционное — Проверяем сочетаемость каждого ингредиента с другим ингредиентом,  Например: Колбаска + картошка, колбаска + горошек, горошек + морковка.

Системное — Проверяем весь салат после заправки майонезом. Рекомендуется еще и среду использования, приблизить к реальной. Садимся за стол, берем баночку свежевыжатых дрожжей и тестируем салат вечером в пятницу.

Приемочное — Тут проверяет заказчик. Зовем маму. Накладываем салат. Накрываем на стол. И ждем правок или успеха. По хорошему надо бы еще приложить бумажку с тем что тестировать и как(спойлер: это тест-кейс), но маме, как эксперту, это не нужно. Вся документация по приемке у нее в голове.

Тестирование по критерию запуска:

Динамическое — это вид тестов в котором надо все запустить. В нашем случае это смешать салат, заправить его и отнести на стол. Теперь можно тестировать его.

Статическое — тут мы тестируем без запуска. Все нарезано и лежит на доске. Осталось только смешать. И тут вступает в игру, статическое тестирование. Надо проверить все еще до запуска (до заправки майонезом). В этом виде тестов часто используется автоматизация через программы. По этому все нарезаем. Звоним маме по скайпу (нам же нужна программа, для канона). Мама по видеосвязи оценивает, достаточно ли ингредиентов нарезано. И выдает вердикт.

Методы тестирования:

Метод черного ящика — тут мы тестируем как обычный пользователь. Нас зовет друг к себе. Мы приходим и перед нами ставят тарелку с салатом. Мы ничего не знаем, и начинаем тесты. На вкус, на перевариваемость, на внешний вид и прочие тесты.

Метод белого ящика — точно так же приходим к другу. Та же тарелка салата. Но теперь нам дают весь рецепт. И мы пробуем протестировать послевкусие от кабачка, пытаемся уловить тонкие ноты супер-дорого перца и обязательно просим добавки. Так посмотрим, как работают наши API и что еще хранится в холодильнике (на сервере).

Метод серого ящика — это такой вид теста, когда мы знаем не все, но чуть больше чем просто пользователь. Например: нам дали не весь рецепт, а только сказали что в салате есть кусочки палтуса (рыба такая). И теперь помимо тестов как в черном ящике, мы пытаемся уловить вкус палтуса.

Основных приоритетов 3. Но есть в компаниях разные приставки типа extra, ultra, mega, very и прочие. Так что всегда можно поставить ultra mega very low.

High - Баг должен быть исправлена как можно быстрее. Критическая для нашего салата.

Нет селедки в салате селедка под шубой.

Medium - Баг должен быть исправлен. Не так критично, но  исправить надо.

Вместо сухариков мы добавили чипсы в салат цезарь.

Low - баг должен быть исправлен.Он не критичный, и срочности в исправлении нет.

В оливье, вместо кубиков 0.5 см , мы порезали 0.8 см.

Теперь о комбинации приоритетов и серьезности ошибок.

High Trivial - У всех людей непереносимость лактозы, а в нашем салате заправка из сметаны.

Low Blocker - Принесли замерзший салат с мороза, но люди настолько голодные, что съели его как мороженное. и всем понравилось.

High Major - Люди не едят горошек. Мы просим отделить весь горошек и заменяем его кукурузой. Теперь салат съедят весь.

Low Critical - От салата алкоголь сильнее растаскивает. Гостям понравилось, что можно меньше пить и сильнее пьянеть. Никто не напился, алкоголя ушло меньше, вечер прошел лампово и душевно.

Тестирование - это процесс исследование салата с целью понять, а выполняет ли он свои заявленные функции. Например: Вкусный ли он? Свежий? Сытный?

Принципы тестирования:
1. Тестирование может сказать что баги есть, но не может доказать что их нет - можно проверить каждый ингредиент салата, перепробовать все комбинации вкусов, перепроверить все сроки годности, но принеся салат маме получить фразу: "салат не вкусный". Мы можем сказать что колбаса испорчена, но не можем сказать что салат идеален.

2. Протестировать все невозможно - мы можем протестировать основные и второстепенные способы использования, но не можем проверить все. В наших силах проверить  вкус салата, его усвоение, его сытность, скорость замерзания на морозе, удобство как подушки на новый год. Но кто-то может догадаться использовать салат вместо маски для лица, а у нас есть ингредиент который вызовет раздражение.

3. Чем раньше начнем тестировать, тем больше денег сэкономим - нам принесли рецепт. Если мы его сделаем и попробуем салат, можем найти не гармоничность вкуса селедки и варенья. Если бы мы начали тестировать с рецепта, то еще до закупки и приготовления, нашли  эту дисгармонию. А теперь, выкидываем салат,ищем ошибку в рецепте и  заказываем заново продукты.

4. Большинство багов происходят в паре-тройке модулях(ингредиентах) - сделали салат и получили два проблемы: салат отдает кислым вкусом, и переваривается за 20 минут до состояния выброса. Начинаем пробовать отдельно каждый компонент и понимаем что у нас просрочена курица. В магазине ее сбрызнули лимонным соком, что бы это скрыть. Убираем курицу, и салат снова прекрасен.

5. Парадокс пестицида (это умными словами); Если тестировать один и тот же путь, то скоро на этом пути баги закончатся. Мы получим идеальную тропинку, шаг влево или вправо и мы провалимся сквозь пол(простыми словами) -  У нас есть задача протестировать свежесть и вкусность колбаски. Мы пробуем ее, растираем о стол, оставляем на сутки заветриваться и приходим ко мнению что с колбаской все в порядке. Но у нас покрывались тестами только колбаска. Горошек мы упустили из внимания. Компания зева продала нам еще 4 лишних рулона.

6. Тестирование зависит от контекста - этот пункт про фокусировку сил и внимания. Например для мамы и сестры, мы готовим немного вкусного и легкого салата. Для праздника с друзьями, много жирного и соленого салата в самый раз. По этому для мамы мы должны проверить: легкость, сочность, питательность. А для друзей: Жирность, соленость и дешевизну приготовления.

7. Если нет ошибок, то ПО все равно не идеальное - это последний пункт по потребности тех, кому делаем салат. Мы можем перепробовать все ингредиенты, просмотреть все сроки годности и сделать идеальную нарезку. Но все это не имеет смысл, если мы принесли 400г салата из свежей капусты с грибами, на вечеринку из 20 человек. Важно делать салат не только хорошим изнутри, но и закрывающим потребности пользователей.

Это такая же штука как про создание ПО, только про тестирование. Даже этапы похожи.

Всего их 6.

1. Анализ требований - изучаем что от нас хотят. Ищем места фокусировки нашего тестирования. Салатное объяснение: На праздник, куда нас позвали, попросили салат для закуски крепкого алкоголя, а еще среди гостей человек с аллергией на орехи. Понимаем, что легкий салат из свежих листьев с орехами, не подойдет. Нам нужна селедка, майонез и посмотреть, что нет орехов.

2. Фаза планирования - делаем план тестирования, выбираем инструменты для тестов, распределяем роли и смотрим где у нас не хватает знаний.
Салатное объяснение: Пишем план, кто, что и как проверяет. Выбираем руки, глаза и перчатки как инструменты. Договариваемся с женой, что мы будем следить за достаточным количеством рыбы и майонеза для перебивания крепкого алкоголя, а она переберет салат в поисках орехов. А еще для выноса вердикта по послевкусию, нужно посмотреть видео на ютубе, о том какие бывает послевкусия.

3. Разработка тест-кейсов - тут мы пишем сценарии которые мы будем делать для проверки.

Салатное объяснение: На нас ляжет сложная задача: выпивать, закусывать и давать оценку что все хорошо. Жена, надев перчатки, будет перебирать по четверти салата в поисках орехов.
4. Настроить тестовую среду - подбираем и настраиваем условия в которых будут использовать наш продукт. Так же проверяем тестовую среду на готовность (спойлер: это smoke test среды(тестовой среды, а не дня недели))

Салатное объяснение: Накрываем на стол скатерть. Ставим запеченную картошку и курицу. Ставим наш салат на стол. Наливаем себе алкоголь. Садимся на стул. Проверяем что сидеть удобно. Локти не прилипают к скатерти. Картошка горячая и вкусна. Алкоголь выполняет свои заявленные требования.
5. Фаза реализации тестов -  тестируем, пишем отчеты об ошибках и успехах.
Салатное объяснение:  Наша жена перебираем салат в поисках орехов еще до его смешивания. Затем смешивает и приносит нам. Настало время выпить и закусить салатом. Фиксируем данные о идеальности закуски: Перебитие вкуса алкоголя, послевкусие, скорости опьянения от закуски одной порцией и несколькими, скорость заполнения желудка и сила головной боли на утро.

6. Закрытие цикла испытаний STLC - пишем заключительный отчет.

Салатное объяснение: Пишем отчет о наших тестах. О том что можно улучшить в рецепте, а что идеально.

И еще небольшая сноска. Каждый этап имеет входные и выходные критерии. Пару слов о том, Что это такое, так как на картинке они есть.
Входные критерии - это то, что надо сделать, перед каждый шагом. Например до того как кушать салат, нужно добавить рыбу. Или до тестов с алкоголем, нужно налить алкоголь.

Выходные критерии - это нужно, что бы не перейти на следующий этап с ошибками. Например: нельзя нести салат на праздник, не убедившись что нет орехов.