Что такое закрытый бета тест
говориМ о тестировании
простым языком
Виды тестирования по времени проведения
Кроме того, он может быть в принципе готов “выйти в свет”, но было бы неплохо посмотреть на него глазами конечных потребителей.
Именно это и послужило причиной деления тестирования на альфа и бета тестирование. По тому же принципу делятся и пользователи, которые проводят данные виды тестирования. Подробнее обо всем в статье.
Альфа и бета тестирование являются одной из форм приемочного тестирования. То есть ошибок на этом этапе тестирования уже быть не должно. Скорее наоборот, программа должна быть максимально рабочей и пригодной для использования.
Про уровни тестирования подробно говорили тут.
Альфа-тестирование
После подготовки отдельных модулей продукта, они объединяются в единое целое. Это еще не готовая версия, но она уже способна работать и выполняет свои основные задачи (иногда частично). Этот вариант программы и называют альфа-версией.
Альфа-тестирование (alpha testing) – это вид приемочного тестирования, которое обычно проводится на поздней стадии разработки продукта и включает имитацию реального использования продукта штатными разработчиками либо командой тестировщиков.
Обычно альфа тестирование заключается в систематической проверке всех функций программы с использованием техник тестирования «белого ящика» и «черного ящика» (подробнее о них тут).
Альфа-тестирование является методологией оценки качества и стабильности тестируемого продукта в тестовой среде.
На этом этапе основное внимание уделяется:
— Обнаружению ошибок,
— Вопросам по юзабилити,
— Различию в характеристиках,
— Проблемам совместимости/взаимодействия.
Фазы альфа-тестирования:
Альфа-тест обычно происходит в циклах, каждый из которых будет составлять примерно 1-2 недели. Количество циклов зависит от функций, включенных для тестирования, и количества проблем, обнаруженных на этом этапе тестирования.
Критерии входа:
Критерии выхода:
Преимущества альфа-тестирования:
Недостатки альфа-тестирования:
Бета-тестирование
По окончании работы с альфа-версией выпускается бета-версия. Она представляет собой реально работающую версию программы с полным функционалом.
Бета-тестирование (beta testing) – интенсивное использование почти готовой версии продукта с целью выявления максимального числа ошибок в его работе для их последующего устранения перед окончательным выходом (релизом) продукта на рынок, к массовому потребителю.
Бета-тестирование представляет собой реально работающую версию программы с полным функционалом.
Задача бета-тестов – оценить возможности и стабильность работы программы с точки зрения ее будущих пользователей. Поэтому, в отличие от альфа-тестирования, бета-тестирование предполагает привлечение добровольцев из числа обычных будущих пользователей продукта.
Такими добровольцами ( бета-тестерами) часто движет любопытство к новому продукту. Они вполне согласны мириться с возможностью столкнуться с ошибками. Кроме любопытства, мотивация может быть обусловлена желанием повлиять на процесс разработки и получить более подходящий им продукт.
Будет плюсом, если это люди, которые уже имеют опыт работы с программами такого типа, а еще лучше – с предыдущей версией этой же программы. Обычно у компаний уже есть определенный круг лиц, с которыми они постоянно сотрудничают.
Надо сказать, что разработчики не испытывают недостатка в желающих принять участие в такой работе. Многие люди хотят попасть в закрытую группу, первыми узнать о новых функциях продукта, пользоваться тем, чего нет в свободном доступе.
Наглядный пример набора бета-тестировщиков — социальная сеть Яндекс.Аура. Создатели сделали ограниченный доступ по ссылкам. Таким образом, в первые дни они набрали достаточное количество пользователей для первых тестов и закрыли набор. То есть каждый пользователь чувствовал себя там уникальным и с радостью помогал тестировать новый продукт. Продукт, к которому нет доступа больше ни у кого.
Кстати, этим пользователям еще присвоили особенные “метки”, которые говорят о том, что они первопроходцы. Это тоже отличный стимул быть тем самым первым пользователем.
Разные компании выполняют бета-тестирование по-разному. Есть 2 вида бета-тестирования:
Преимущества бета-тестирования:
Недостатки бета-тестирования:
Гамма-тестирование
Часть авторов (например, Святослав Куликов в своем учебнике “Тестирование программного обеспечения.Базовый курс”) еще выделяют третий вид тестирования — гамма-тестирование.
Гамма-тестирование (gamma testing) — финальная стадия тестирования перед выпуском продукта, направленная на исправление незначительных дефектов, обнаруженных в бета-тестировании.
Как правило, также выполняется с максимальным привлечением конечных пользователей/заказчиков. Суть этого вида вкратце: продукт уже почти готов, и сейчас обратная связь от реальных пользователей используется для устранения последних недоработок.
Стоит отметить, что, обычно, тестирование все же делят на альфа и бета без упоминания о гамма-тестировании.
Альфа и бета. В чем отличия?
Как видите, альфа и бета тестирование имеют разные цели и задачи. У каждого из них есть свои плюсы и минусы. Конечно, будет неплохо использовать оба этих метода, так как они приносят свои «плоды». Но это не всегда возможно и финансово обосновано.
Очень часто бета-тестирование практикуется в игровой сфере. Все же один из основных плюсов бета-тестирования — понимание того, нужен ли аудитории наш продукт и стоит ли его выпускать в релиз.
Закрытый бета-тест (ЗБТ)
Как в киберспорте понять: закрытый бета-тест?
Где используется термин ЗБТ (закрытый бета-тест)?
Закрытый бета–тест или ЗБТ – это испытание практически готовой вариации нового игрового проекта тестерами и авторами. Выражение ЗБТ применяется разработчиками «Танков онлайн», а также геймерами по отношению к обновленному проекту «Танки Х».
Турнир:
Лига Чемпионов. Групповой этап
Ставки на киберспорт являются прогрессивным видом заработка, который доступен буквально «на диване». Некоторые.
Контр-Страйк – легендарный экшн, который привлекает миллионы игроков по.
Успешно ставить на World of Tanks – задача, которая не каждому любителю ставок по плечу, поскольку эта.
Все большую популярность наряду с традиционными видами спорта набирают ставки на.
Как понять термин бабай в киберспорте? Сколько значений бабай используется в интерактивных состязаниях? Бабай означает обращение.
Как понять в киберспорте термин dude? Где используется это понятие? Dude – это сленговое обращение между участниками.
«Hay ka» в киберспорте, что это? Где используется данное выражение? Hay ka – выражение, употребляющееся армянскими игроками в.
Что обозначает набор символов N811 в киберспорте? Какие особенности применения этого термина? N811 – так при переписке в чате или.
Метание гранат относится к легкой атлетике. Эта дисциплина.
Основу бейсбольного матча составляет противостояние питчера и беттера, подающего и.
Поскольку виртуальные виды спорта аккумулируют все большее количество зрителей и.
Нарушения правил футбола, которые могут быть выражены в виде использования запрещенных приемов и.
MMORPG Календарь БЕТА-тестов
Закрытое бета-тестирование (ЗБТ)
Главную цель, которую ставят разработчики и издатели, проводя закрытый тест — выявление всех ошибок и неточностей, которые они могли упустить. Если вам удастся попасть на Бету, то возможно вы заметите: ошибки в переводе, нерабочее умение или NPC, плохо работающий квест и прочее. В таком случае, обязательно сообщите об этом администрации через форму обратной связи.
Есть и второстепенные причины, почему игрокам стоит стремиться на закрытый бета-тест. Это, конечно же, шанс изучить новую игру раньше других игроков. Представьте, у вас будет время (обычно сроки продолжительности ЗБТ составляют от 3 до 14 дней) научиться играть в новую онлайн игру еще до её официального выхода (ОБТ).
Как правило, проходит несколько этапов ЗБТ, куда попасть сможет не каждый. Чтобы стать тестером необходимо: выиграть ключ в конкурсах, приобрести набор раннего доступа или просто подать заявку на участие на официальном сайте игры и надеяться на удачу. Количество игроков на подобных тестах может варьироваться от нескольких сотен до десятков тысяч. После всех закрытых этапов тестирования происходит полное обнуление (вайп) и через некоторое время игра переходит в режим ОБТ.
Открытое бета-тестирование (ОБТ)
Финальная стадия тестирования игры. В современном мире MMORPG в России, ОБТ — это и есть релиз игры. То есть открытое бета-тестирование приравнивается к полноценному запуску. Обычно попасть на открытое бета-тестирование может любой желающий бесплатно, либо, если игра платная, то оплатив подписку.
Ошибки разработчиков при тестировании ММО
Эта статья — взгляд на тестирование ММО с «другой стороны баррикад», с точки зрения геймера. Я хочу рассказать о том, как сделать альфа-тест, ЗБТ и ОБТ эффективнее. И о том, почему бета-тестеры перестают писать баг-репорты и переходят «в оппозицию» к проекту.
Предисловие
За свою жизнь я участвовал в ЗБТ и ОБТ примерно 30 игр. И самый главный вывод, который я для себя сделал – гейм-девелоперы совершенно не умеют распоряжаться теми людскими ресурсами в виде нескольких тысяч жаждущих прокликать весь функционал геймеров, которые им сваливаются на голову. И именно поэтому и был написан данный материал. От геймера – разработчику, сидящему по ту строну экрана. От тестера – компаниям, которые не понимают, как правильно организовать процесс тестирования усилиями игроков.
Статья разбита на четыре раздела и написана в разговорном стиле. Я по порядку разбираю ошибки разработчиков на альфа-тесте, ЗБТ/ОБТ и при наборе тестеров после релиза. Те, кто хочет конкретики без долгих прелюдий и размышлений, могут сразу листать к последнему абзацу каждого раздела и выводам.
I. Альфа-тестирование
За последние годы стало признаком хорошего тона приглашать игроков на альфа-тест: World of Tanks (2009), WarThunder (2011), Lost Sector (2013), Armored Warfare (2014), etc. Я же утверждаю, что это плохая идея и АТ должны проводить профессиональные QA engineers, а не геймеры.
Почему? Потому что главное следствие наличия игроков на АТ – репутационные потери для вашей компании. Очевидно, что данный тезис может вызвать недоумение. Пояснение ниже:
1. Игроки приходят раньше других в ваш проект не для того, чтобы протестировать его на баги и поднести вам все ошибки на блюдечке, а чтобы получить свою порцию развлечений и удовольствия первыми. Бесспорно, если они найдут какой-то критический баг, который им мешает играть, то они о нём отрапортуют. Но в целом, геймеры хотят играть (и ещё раз играть!), и очередные глюки следующей тестовой сборки на самом деле вызовут только раздражение, а не понимание. И так как негатив люди запоминают гораздо легче, чем позитив, то к релизу эта часть игроков будет вспоминать не новые фичи, которые вы ввели, а все ваши ошибки. И станет первой армией критиков вашей игры в сети.
2. На практике это выглядит примерно так (на примере реакции игроков на очередной патч):
newbie: Ура, новый патч! Новые возможности. Это же прекрасно. Пойду лайкну разработчиков на форуме.
beta-tester: О, да… Новый патч – новые глюки. Пока не буду играть. Подожду пока откатят, поправят и доведут до ума. Мои нервы мне дороже. А пока поиграю в игру конкурентов.
alpha-tester: Хорошо, если снова не обделаются на весь мир. Помнишь, как сервер упал, когда 0.4.5 накатывали? Пойду, напишу в ЖЖ, что разрабы снова облажались и сделали всё неправильно, хотя мы им ещё на ЗБТ говорили, что нужно перебалансить эту карту.
Конечно, это гипотетический диалог, но, думаю, суть понятна. Я мог бы привести реальные диалоги игроков, пришедших в разное время в WoT, но это противоречит правилам данного ресурса. В частности, тем пунктам, которые касаются оскорблений и матов. Потому что я не могу вспомнить навскидку ни одного ЗБТ-шника, который бы цензурно отзывался о разработчиках.
Да, альфа-тестеров и збт/обт-шников гораздо меньше, чем других категорий игроков. Но именно они чаще всего занимают руководящие посты во всех кланах/гильдиях/корпорациях (нужное подчеркнуть). Как минимум, на первых порах. И соответственно, как наиболее опытные игроки, формируют и мнение о проекте в целом в рамках своего клана.
Конечно, если ваш проект “выстрелит”, то со временем первые кланы ”размоются” и в общем информационном шуме голоса вечно недовольных первых тестеров будут уже не слышны. Но, как говорится, осадочек останется…
Маленькое уточнение-summary: нет, я не утверждаю, что игроки-тестеры – зло. Я говорю, что у игроков, пришедших на АТ/ЗБТ/ОБТ и у QA engineers совершенно разные цели и, соответственно, разная реакция на проблемы в игре. Поэтому идея приглашать игроков на АТ, когда игра представляет из себя комок багов – это очень плохая идея.
II. ЗБТ&ОБТ
В теории (в моём понимании), главная цель ЗБТ и ОБТ – это тестирование усилиями геймеров динамично обновляющегося функционала игры на наличие ошибок ДО релиза. И отсюда мы получаем вторую цель – тестирование реакции ЦА на концепцию игры и различные фичи, которые вводят (или планируют вводить) разработчики. И как побочный эффект – минимизацию издержек на внутреннее тестирование сотрудниками компании-разработчика.
На практике же любое ЗБТ и ОБТ превращается в первую очередь в генератор довольно сомнительного инфошума (как пример – погуглите бложики школоты, которая, впервые услышав о существовании Armored Warfare, возносила игру до небес, а сейчас уже поливает помоями, хотя игра ещё даже на релиз не вышла). И с точки зрения КПД тестирования результаты тоже весьма спорные. Если быть точным в формулировках – разработчики делают всё, чтобы отбить у игроков-тестеров желание что-либо делать. И это катастрофическое неумение работать с аудиторией в несколько тысяч человек, которые действительно могут дать качественный фидбэк, заставило меня ниже расписать типичные ляпы в организации ЗБТ/ОБТ и методы их лечения (с точки зрения игрока).
1. Отсутствие информации по тестам
Вообще, по моему личному убеждению, большинство ЗБТ/ОБТ проходят под девизом «тестируй То, не знаю Что». Итак, предположим, у нас есть некая гиперактивная группировка игроков-тестеров, которые день и ночь сидит в игре, находит баги и строчит сообщения на форуме (например, для военно-исторических игр – это «заклёпочники», которые отстаивают исторические ТТХ своей любимой техники).
И здесь главная беда заключается в том, что ни разработчики, ни коммьюнити-менеджеры не умеют направлять энергию этой таргет-группы в конструктивное русло на пользу проекта. От слова “совсем”. Серьёзно. Где рекомендуемые цели для тестирования? Где примерный план того, что разработчики хотели бы увидеть протестированным от игроков? Нет. Ничего из перечисленного на практике нет. Поэтому каждый тестирует сам, кто во что горазд – один делает видео на ютубе с пробиваемостью моделей, а второй пилит на форуме таблички со сведенными данными по пробиваемости пушек разных калибров из разных источников.
Особая прелесть ситуации заключается в том, что зачастую в вакансиях компании висит «исторический консультант», но при этом на форуме игры профессиональных историков с historia.ru или tsushima.ru, указывающих на нестыковки, разработчики посылают чуть ли не матом, мотивируя это тем, что «в нашей 100% реалистичной игре историзм принесен в жертву балансу». Про вики, которые делают школьники на основе гуглтранслейтовсуких статей, вообще молчу.
Отдельно вымораживает, когда разработчики в патч-ноуте на тесте не пишут изменения – из серии «с целью оптимизации баланса были изменены характеристики некоторых машин». Ну и как, вообще не зная, что изменилось, можно протестировать новшества? Или провести регрессивное тестирование? Нам калёными клещами каждый раз вытаскивать информацию из вас, господа разработчики? Подчеркну особо – речь идёт о ЗБТ/ОБТ, когда абсолютно все ТТХ в процессе балансирования (и мы – тестеры – это прекрасно понимаем), а не о пост-релизе, когда нерф или ап некой техники может вызвать широкий негативный резонанс миллионов игроков.
2. Отсутствие адекватного фидбэка
А теперь давайте представим, что несмотря на всё вышеперечисленное, некий Вася Пупкин, (который даже не подозревает, что он на самом деле занимается black-box тестированием) интуитивно догадался, что нужно тестировать и написал свой первый в жизни баг-репорт на форуме!
А в ответ:
— вообще не получил какого-либо ответа;
— тему закрыли и перенесли в архив без объяснения причин;
— получил ответ “баг известен, мы работает над этим” даже без элементарной благодарности;
— и так далее по спику…
Какая будет реакция Васеньки? – Правильно! Васенька больше в жизни ни одного баг-репорта не напишет.
3. Негативная реакция
Геймеры (даже тестировщики) – это, в первую очередь, потребители. Никогда не стоит об этом забывать. Они не дипломаты и не пресс-секретари корпораций. Так что это вполне нормальная рабочая ситуация, когда вместе с баг-репортами на разработчиков выливают ушат холодной воды. Иногда даже с помоями (заслуженно или нет – это уже другой вопрос). К чему это я? Да к тому, что примерно треть моих знакомых на ЗБТ/ОБТ переставали писать баг-репорты, получив резкую отповедь.
В рамках игрового форума на стадии ЗБТ/ОБТ я обычно наблюдаю два варианта реакции на обоснованную критику игроков, подкреплённую баг-репортами:
— карательно-репрессивная, вплоть до банов (пришел модератор с банхаммером);
— обвинительная (пришел разработчик и начал распекать игроков, что они сволочи неблагодарные – разраб тут ночами не спит, с женой уже секса неделю не было, а игроки все носом в баги тычут, никак не успокоятся).
В итоге, ещё некоторая часть тестеров становится враждебно настроенной по отношению к вашему проекту и бросает его тестирование. Это в лучшем случае. А в худшем – бежит жаловаться на игровые порталы и уходит к конкурентам.
4. Сомнительная награда
И вот наступил долгожданный ОБТ. Сидят в Тим-спике наш герой Вася Пупкин, у которого на счету 7 баг-репортов, и Дима Козлов, который зарегистрировался в последний день ЗБТ (real-story) и ничего не делал. А награда у обоих за участие в ЗБТ одинаковая – некий танчик, например. Как думаете, Васенька после такой вселенской несправедливости хоть один баг-репорт напишет? Правильно думаете – нет. И вот ещё одна группа квалифицированных тестеров канула в лету.
В целом, мне кажется, что выводы и так очевидны. Но когда объясняешь это на примерах в личке очередному разрабу, то натыкаешься на глухую стену непонимания (хотя за пределами гейм-дева это чаще всего вполне адекватный человек, если верить FB и VK).
Так что, краткие выводы
1. Если вы хотите, чтобы игроки что-то действительно тестировали на бета-тесте – относитесь к ним, как к своим штатным QA: дайте им план тестирования и создайте на форуме инфраструктуру для переваривания результатов этих тестов. Объясните Что, Когда, Как и Зачем стоит тестировать. В идеале – с рассылкой на почту всем желающим. Короче, поднимайте стандарты бета-тестирования! Вам школьники для массовки или тестеры нужны!?
2. Обеспечьте ваших бета-тестеров обратной и главное – своевременной (!) связью. Адекватный фидбэк на баг-репорты – залог цицилизованного и долговременного сотрудничества бета-тестеров и ГД-компании.
3. Научитесь адекватно реагировать на критику игроков и признавать свои ошибки. Обиженный игрок – это не только строчка “забанен” на вашем форуме, но и 500 терабайт ваших игр, розданных на торрентах (true-story). И ни одной лицензионной копии вашей игры в подарочном боксе на полочке у его соклановцев.
4. Запомните раз и навсегда – нельзя всех участников ЗБТ/ОБТ награждать одинаково. Награда должна быть пропорциональна вкладу игрока в проект! Иначе у тех, кто реально тестировал, вы напрочь отобьете желание что-либо делать до конца жизни вашего проекта.
III. Post-release
После релиза ничего не меняется: игроки хотят новый контент, а разрабы – свою копеечку на содержание двух любовниц и маленький домик на островах. Так что патчи и аддоны выходят как горячие пирожки из под руки пекаря, а баги продолжают плодиться подобно кроликам. Единственное отличие – на смену бета-тестерам приходят супер-тестеры. И здесь начинается очередной акт марлезонского балета нашей драмы Абсурда.
Если кто не понял – я о критериях набора в супер-тестеры. Вспоминая WoT, нас очень забавляла картина, когда заявки наших офицеров по тактике, которые в реальной жизни работают в IT и имеют винрейт 53-55%, отклонили, а сына нашего знакомого со статой в 43% взяли. А всё потому, что в отличие от нас он мог играть по 12 часов в сутки. К слову, в те времена, когда я уже удалил свой аккаунт в танках спустя год, он ещё не нашел свой первый баг.
И это проблема не только танков. Почему-то на супер-тест везде предпочитают набирать школоту, готовую играть круглосуточно. Я не имею ничего против ЦА – на ком-то же мы должны набивать опыт и фраги. Но предлагать им тестировать? Люди, вы это серьёзно? От какого тестера будет больше пользы – от подростка, который 16 часов будет играть в стиле «пыщь-пыщь ололо – я водитель НЛО!» или от часа игры взрослого, который придёт на тест заниматься делом?
На этом у меня почти всё и, как говорили классики, «Шахеразада умолкает, переходя от дозволенных речей к недозволенным мыслям».
IV. Умные мысли
На самом деле у меня всего одна умная мысль – геймификация игрового тестирования. Если вы хотите, чтобы игроки тестировали ваши игры – сделайте так, чтобы они получали от этого удовольствие! Вы ведёте рейтинг топ-игроков? – Добавьте на сайт рейтинг топ-тестировщиков. Выдаете медальки и ачивки за любой чих? – Сделайте отдельные уникальные достижения для всех, кто находит баги и помогает вам сделать проект лучше. У вас по выходным опыт х2 для задротов? – Введите повышенные рейты для тестеров. От этого выиграют все.
Бета-тестирование
Бе́та-тести́рование (англ. beta testing ) — интенсивное использование почти готовой версии продукта (как правило, программного или аппаратного обеспечения) с целью выявления максимального числа ошибок в его работе для их последующего устранения перед окончательным выходом (релизом) продукта на рынок, к массовому потребителю.
В отличие от альфа-тестирования, проводимого силами штатных разработчиков или тестировщиков, бета-тестирование предполагает привлечение добровольцев из числа обычных будущих пользователей продукта, которым доступна упомянутая предварительная версия продукта (так называемая бета-версия).
Такими добровольцами (их называют бета-тестерами) часто движет любопытство к новому продукту — любопытство, ради удовлетворения которого они вполне согласны мириться с возможностью испытать последствия ещё не найденных (а потому и не исправленных) ошибок. Кроме любопытства, мотивация может быть обусловлена желанием повлиять на процесс разработки и в итоге получать более удовлетворяющий их нужды продукт и многим другим.
Кроме того, открытие бета-тестирования может использоваться как часть стратегии продвижения продукта на рынок (например, бесплатная раздача бета-версий позволяет привлечь широкое внимание потребителей к окончательной дорогостоящей версии продукта), а также для получения предварительных отзывов о нём от широкого круга будущих пользователей.
Бета-версия не является финальной версией продукта, поэтому разработчик не гарантирует полного отсутствия ошибок, которые могут нарушить работу компьютера и/или привести к потере данных. Хотя и в финальных версиях таких гарантий разработчики, как правило, не дают.