QA Automation Engineer

Что предстоит делать

<p><strong>О продукте</strong></p><p><strong>Pitch Avatar</strong> — SaaS-платформа с интерактивными AI-аватарами, презентациями и мультимедийным контентом для онбординга, корпоративного обучения, поддержки клиентов и продаж. Пользователи настраивают аватаров, добавляют собственные источники знаний, общаются текстом и голосом и получают аналитику взаимодействия.</p><p>Для нас важно качество всего сценария: от создания проекта и подготовки контента до ответа аватара и корректного сохранения результатов.</p><p><strong>О роли</strong></p><p>Ищем QA Automation Engineer уровня Middle / Middle+, который будет развивать автоматизацию и проверки качества AI-функций. Вы будете работать в QA-команде с QA Lead, manual и general/automation QA, используя существующий фреймворк Playwright + TypeScript.</p><p>Основной объём проверок выполняется через WebSocket: отправка сообщений, получение асинхронных событий и проверка результата взаимодействия с аватаром. Playwright используется для UI и сквозных сценариев, REST API — для подготовки данных и смежных проверок.</p><p>Важны оба направления: тестирование AI в продукте и практическое использование AI-инструментов для анализа требований, написания тестов и разбора дефектов. Ожидаем, что вы можете объяснить и проверить результат, полученный с помощью AI.</p><p><strong>Что нужно делать</strong></p><p>— Разрабатывать и поддерживать автотесты WebSocket-сценариев на TypeScript: отправка сообщений, проверка ожидаемых событий, их содержимого и завершения сценария.</p><p>— Поддерживать UI и E2E автотесты на Playwright; использовать REST API для подготовки тестовых данных и проверки смежной логики.</p><p>— Вместе с QA Lead определять приоритетные проверки чат-аватара, базы знаний, мультиязычности, персональных ссылок, Enrollments и результатов сессий.</p><p>— Создавать наборы контрольных запросов и диалогов с чёткими критериями оценки AI-ответов: соответствие источникам, соблюдение инструкций, сохранение контекста и корректное поведение при отсутствии информации.</p><p>— Проверять регрессии после изменений промптов, моделей, источников знаний и продуктовой логики.</p><p>— Тестировать асинхронные процессы, WebSocket-события, loading/error states, тайм-ауты и восстановление после ошибок; проверять текстовые и голосовые сценарии.</p><p>— Проводить exploratory и негативное тестирование новых функций, в частности доступов, ролей и взаимодействия между модулями.</p><p>— Поддерживать запуск тестов в CI, работать с тестовыми данными, устранять нестабильные тесты и проверки, которые могут пропустить реальный дефект.</p><p>— Готовить понятные баг-репорты и результаты проверок с логами, traces и другими доказательствами; сотрудничать с разработчиками и продуктовой командой.</p><p><strong>Необходимый опыт</strong></p><p>— От 2 лет в QA веб-продуктов и практический опыт написания автоматизированных тестов.</p><p>— Практическое владение Playwright и JavaScript/TypeScript: вы самостоятельно читаете, изменяете и отлаживаете код тестов.</p><p>— Практический опыт автоматизации WebSocket-сценариев: работа с сообщениями и асинхронными событиями, ожидание результата, проверка тайм-аутов и ошибок.</p><p>— Понимание HTTP, JSON, клиент-серверного взаимодействия и базовое владение REST API для вспомогательных проверок и работы с тестовыми данными.</p><p>— Умение проектировать позитивные, негативные и граничные проверки с конкретным ожидаемым результатом.</p><p>— Практический опыт проверки <nobr>LLM-функций</nobr> или чатботов в рабочем или собственном проекте. Можете показать, как определяли качество ответа, выявляли выдуманные факты и работали с вариативностью результатов.</p><p>— Опыт использования AI-инструментов в QA-работе и критического просмотра сгенерированных тестов и кода.</p><p>— Git, базовый SQL, браузерные DevTools; умение анализировать сетевые запросы, логи и причины падения тестов.</p><p>— Опыт работы с <nobr>CI-прогонами</nobr> и диагностикой асинхронных тестов по логам сообщений и событий.</p><p>— Английский от B1: чтение технической документации и письменная рабочая коммуникация.</p><p><strong>Будет преимуществом</strong></p><p>— Опыт тестирования ответов на основе базы знаний / RAG, мультиязычных диалогов и устойчивости к попыткам изменить инструкции аватара.</p><p>— Автоматизированные оценки качества AI-ответов (evals), сравнение версий модели или промпта, контрольные датасеты.</p><p>— Тестирование speech-to-text, text-to-speech, WebRTC и аудио/видеосценариев.</p><p>— Проверка времени ответа, нагрузки и отказов внешних сервисов; опыт k6 или аналогов.</p><p>— GitLab CI, Docker, Python для дополнительных тестовых инструментов.</p><p><strong>Мы предлагаем</strong></p><p>— Работу над продуктом на стыке SaaS, AI и мультимедиа.</p><p>— Полностью удалённую работу.</p><p>— Официальный договор с австрийской компанией.</p><p>— 25 оплачиваемых рабочих дней отпуска и оплачиваемые больничные.</p><p>— Возможность влиять на автоматизацию и подход к оценке AI-функций.</p><p>— Сотрудничество с QA Lead и командой тестирования, самостоятельность в пределах своей зоны ответственности.</p> <div> <a href="https://jobs.dou.ua/companies/softprom/vacancies/378825/#reply-btn-id">Откликнуться на вакансию</a> </div>