Лига тестировщиков

Когда-то Behavior-Driven Development задумывался как классная штука. Предполагалось, что с его помощью бизнес будет описывать, как должен работать продукт, тестировщики — добавлять корнер-кейсы («а что будет, если сделать шаг влево или вправо?»), а разработчики — писать код автотестов и делать продукты, которые эти тесты проходят.

Главный инструмент BDD — Cucumber — позволил автоматизировать тесты, описывая их на языке Gherkin и связывая эти описания с исполняемым кодом. В итоге должен был получаться результат, который устраивает и бизнес, и QA.

Но что-то пошло не так. Сегодня в адрес Cucumber все чаще можно услышать критику. Его создатель Аслак Хэллисей признал, что: «Большинство используют Cucumber не для BDD, а просто как инструмент тестирования. Если так, то он ничем не лучше других фреймворков».

Кто в этом виноват и что делать? Попробуем разобраться.

Что пошло не так

В идеальном Behavior-Driven Development-мире бизнес берет латте, садится рядом с тобой и вы долго и счастливо пишете сценарии вместе. В реальности же он тебя просто отшивает: «У нас нет времени разбираться в этих Given-When-Then. Главное, чтобы работало. А как — это ваши проблемы». В итоге вся фишка BDD — описание требований на общем языке — теряется.

Разработчики тоже не в восторге: Gherkin для них — это лишняя абстракция, которая только мешает. Каждый шаг в Gherkin требует реализации в коде. Вместо упрощения получается дополнительный слой — step definitions нужно писать, поддерживать и постоянно рефакторить. В итоге мы имеем 10 сценариев → 100 шагов → 500 строк кода, где 80% — это повторяющиеся вызовы.

Если команда тупо перекладывает готовые тест-кейсы в Gherkin, это лишняя работа, которая не имеет смысла.

Почему Cucumber не так хорош

Он тормозит. Высокоуровневые сценарии, особенно в UI-тестах, превращают CI/CD в ад. Каждый прогон ты сидишь и ждешь, когда же он доползет до конца.

Это темный лес. В реальных проектах сценарии не более информативны, чем код на незнакомом ЯП.

Это больно. Любое изменение в логике — и приходится переписывать шаги, а потом чинить тесты. А если у тебя несколько команд работают с одними и теми же сценариями — жди конфликтов.

Он хрупкий и жестко завязан на структуру. Нужно привыкать к нему и следить за реализацией «названий» шагов, чтобы правильно вызывать их в feature-файлах. Одно неосторожное движение — и все, тесты посыпались как карточный домик. Перефразировали текст в требованиях? Надо бегом править все фичи. Изменили селектор на фронте? Готовимся к падениям.

Он все усложняет. Он приносит еще один уровень абстракции, с которым нужно считаться при дебаге.

VLM все меняет

Можно ли сохранить удобство написания тест-кейсов в свободной форме, но при этом избавиться от жестких синтаксических правил? Похоже, что да. И ключом к этому решению должны стать vision-language модели (VLM) — мультимодальные нейросети, которые могут одновременно обрабатывать изображения и текстовые описания. Они принимают на вход скриншот интерфейса и описание не в жестко структурированной нотации и подготовленных фразах, а в естественных формулировках, понимают контекст и определяют, какой именно элемент соответствует этой инструкции.

Недавно команда BugBuster внедрила этот подход, запустив ИИ-систему для управления тестированием.

Вот как это работает:

Описываешь действия за 5 минут. Просто пишешь тест-кейс на человеческом языке.

Запускаешь тест в один клик. Больше не нужно каждый день править селекторы из-за того, что фронтендер решил рефакторнуть верстку.

Получаешь результат через минуту. Пока ты идешь за кофе, система сама проверяет, что в корзину все добавилось, кнопки нажались, а формы отправились.

Хочешь попробовать? Бесплатный тест-драйв тут.

Источники

• Cucumber is Dying – What Did We Learn?

• Why I recommend against using Cucumber

• Cucumber is Dead, and AI is Replacing It

• Removing Cucumber from Automation Stack

Американская компания Doll Authority предлагает работу мечты — тестировать кукол для взрослых за 495 тысяч рублей в месяц.

Так, что же надо делать?

Проводим досуг с куклами для взрослых, общаемся с ними, улучшаем функции искусственного интеллекта, оцениваем их долговечность и предлагаем улучшения. Работа будет напряжённой, так как продукции много.

Что мы получаем: отличную зарплату, командировки в Азию, где всё включено, скидки на покупку новых «подруг». А ещё абонемент в спортзал — чтобы быть в форме для напряжённых рабочих будней.

Массовые увольнения начнутся через 3...2...1... 😁

Американская компания Doll Authority предлагает работу мечты — тестировать кукол для взрослых за 495 тысяч рублей в месяц.

Так, что же надо делать?

Проводим досуг с куклами для взрослых, общаемся с ними, улучшаем функции искусственного интеллекта, оцениваем их долговечность и предлагаем улучшения. Работа будет напряжённой, так как продукции много.

Что мы получаем: отличную зарплату, командировки в Азию, где всё включено, скидки на покупку новых «подруг». А ещё абонемент в спортзал — чтобы быть в форме для напряжённых рабочих будней.

Массовые увольнения начнутся через 3...2...1... 😁

Дословный перевод, предоставленный работодателем.

Doll Authority — это не просто бренд, это маленькая революция в мире общения. Мы ценим разнообразие, юмор и конечно же качество.

Наши куклы для взрослых— это больше, чем симпатичное личико. Они открывают перед вами мир воображения. Давайте вместе творить волшебство!

Обзор роли:

Компания Doll Authority, ведущий инноватор в области интерактивных кукол для взрослых, ищет тестировщика. Эта уникальная роль сочетает в себе традиционное тестирование продукции и передовую область искусственного интеллекта. Мы стремимся развивать наших кукол с ИИ, которые могут запоминать и вести содержательные разговоры на основе предыдущих взаимодействий.

Вы будете работать с нашим руководством в Нью-Йорке и командой инженеров/разработчиков в Азии и Европе. Мы выберем по одному кандидату от каждого региона — США, Великобритании и ЕС.

Обязанности:

1. Проводить детальное тестирование различных кукол, чтобы оценить их качество, функциональность и долговечность.

2. Использовать и совершенствовать нашу технологию искусственного интеллекта, чтобы улучшить интерактивные возможности наших кукол, уделяя особое внимание разговору и памяти.

3. Предоставлять подробные отзывы и практические рекомендации нашим командам по разработке продукции в Азии и Европе, чтобы улучшить качество продукции.

4. Документировать результаты тестирования и вносить свой вклад в документацию по продукту.

5. Сотрудничать с инженерами и дизайнерами для доработки функций продукта и взаимодействия с искусственным интеллектом.

Требования:

1. Усиленное внимание к деталям и приверженность качеству.

2. Отличные коммуникативные навыки для обеспечения чёткой и структурированной обратной связи.

3. Опыт работы в области тестирования продуктов, обеспечения качества или в смежных областях.

4. Интерес к искусственному интеллекту, машинному обучению и интерактивным технологиям.

5. Способность деликатно и профессионально работать с конфиденциальным контентом.

Желательные квалификации:

1. Опыт работы в технологически продвинутой среде тестирования продуктов.

2. Знакомство с процессами обучения ИИ и управления данными.

3. Умение разбираться в тонкостях продуктов, ориентированных на взрослых.

Эта должность идеально подходит для тех, кто увлечён новаторскими технологиями в области интерактивного искусственного интеллекта и хочет оказать значительное влияние на будущее инновационных продуктов. Присоединяйтесь к нам, чтобы помочь сформировать будущее интерактивных кукол для взрослых с передовыми разговорными способностями и возможностями памяти, которые обогатят пользовательский опыт.

Преимущества:

1. 22 дня отпуска плюс банковские праздники в год.

2. Все оплачиваемые поездки на глобальные мероприятия и к нашим производственным партнёрам в Азии.

3. Возможность удаленной работы.

4. Стипендия на профессиональное развитие.

5. Скидка сотрудникам на продукцию.

6. Другие привилегии, такие как бесплатный абонемент в спортзал, интернет, корпоративный мобильный телефон и так далее.

7. Место работы: удаленная работа (подходит для кандидатов из США, Великобритании и ЕС).

8. Годовая компенсация: 65 000 долларов США или эквивалент (около 52 000 фунтов стерлингов в Великобритании, 61 000 евро в ЕС).

Вот такая замечательная вакансия. Как вы думаете, согласились бы вы на такую работу? Поделитесь своими мыслями в комментариях

1. Тестируй только "счастливый путь". Зачем проверять ошибки? Пользователи же умные и будут вводить только правильные данные!

2. Пиши баг-репорты как можно короче. "Не работает" - идеальное описание. Пусть разработчики сами догадываются, где искать проблему.

3. Никогда не обновляй тест-кейсы. Функционал поменялся? Тест-кейсы писались раз и навсегда!

4. Автоматизируй всё подряд. Даже если тест запускается раз в год - пиши автотест! Главное, чтобы в отчетах было много зеленых галочек.

5. Игнорируй регрессионное тестирование. Раз уже тестировали - значит, работает. Новый код точно ничего не сломает.

6. Не трать время на тестирование в разных окружениях. "У меня на локальной машине работает" - значит, и у всех остальных тоже.

7. Не читай требования. Тебе же платят за то, чтобы ты кликал, а не думал.

8. Не проверяй фиксы багов. Раз разработчик сказал, что починил - значит, так и есть.

9. Тестируй только последнюю версию. Старые браузеры и устройства? Кому они нужны!

10. Не документируй баги. Зачем засорять баг-трекер? Лучше устно сказать разработчику - он же всё запомнит.

11. Не задавай лишних вопросов. Видишь странное поведение? Наверное, так и задумано.

12. Не учи новые технологии. Мануальное тестирование - это навсегда. Автоматизация, API, SQL - это всё для задротов.

13. Тестируй только по инструкции. Exploratory testing - это хаос. Ты же не художник, чтобы что-то исследовать!

14. Не сообщай о багах перед релизом. Зачем портить нервы менеджеру? Пусть выкатят, а пользователи сами найдут.

15. Вини во всём разработчиков. Любой баг - это их вина. Ты же просто нажимал кнопки!


Часто встречаетесь с таким?