QA Engineer (AI/ML)

Что предстоит делать

Кто мы EVO AI — IT-компания в области AI-консалтинга и генеративного искусственного интеллекта. Мы разрабатываем и внедряем AI-агентов, ассистентов и комплексные AI-решения для бизнеса, а также развиваем собственную no-code платформу NovaAgent для создания и оркестрации AI-агентов. Работаем с крупным российским и международным бизнесом. От нас ожидают не просто технологию, а глубокое понимание бизнес-процессов и отраслевой специфики клиентов. Основные обязанности: • Анализировать требования и критерии приемки, выявлять пробелы и риски до начала разработки. • Подготавливать test plan, чек-листы, тест-кейсы, наборы тестовых данных и acceptance scenarios для закреплённых проектов. • Проводить функциональное, интеграционное, системное, API, UI, E2E, smoke, sanity, regression и re-testing. • Проверять корректность данных в БД, анализировать логи и взаимодействие с внешними сервисами. • Фиксировать дефекты с воспроизводимыми шагами, ожидаемым и фактическим результатом, severity, evidence и связью с требованием. • Поддерживать регрессионные наборы и обеспечивать готовность проекта к внутренней и клиентской приемке. • Выполнять AI/LLM/RAG/agent testing по методике Senior: запускать eval-наборы, анализировать ошибки и формировать новые тестовые сценарии. • Автоматизировать повторяемые API/UI/регрессионные проверки и подключать их к CI/CD под техническим руководством Senior. • Помогать проектным командам использовать QA-шаблоны, проводить self-testing и корректно оформлять результаты. • Участвовать в обучающих сессиях, office hours и ревью тестовых артефактов. Обязательные профессиональные компетенции: База QA • Практический опыт коммерческого тестирования от 3 лет. • Знание техник тест-дизайна, жизненного цикла дефекта, уровней и видов тестирования. • Умение самостоятельно декомпозировать требования в набор проверок и определять приоритет тестовых сценариев. API, интеграции и данные • Уверенное тестирование REST API через Postman, Swagger/OpenAPI или аналогичные инструменты. • Работа с SQL на уровне выборок, проверок состояния данных и поиска причин несоответствий. • Навык чтения логов и базовое понимание HTTP, JSON, авторизации, очередей и интеграционных взаимодействий. Тестовая документация и процессы • Умение писать понятные чек-листы, тест-кейсы, bug reports и test reports. • Опыт работы с Jira/Confluence или аналогичными системами. • Понимание DoR/DoD, acceptance criteria, smoke/regression suite и release checklist. Автоматизация • Базовые навыки программирования или скриптинга на Python, Java либо JavaScript/TypeScript. • Опыт написания простых API- или UI-автотестов; готовность развиваться в автоматизации. • Базовое понимание Git и CI/CD, способность запускать, анализировать и поддерживать автотесты. AI QA • Понимание особенностей LLM/RAG/agent testing и недетерминированного поведения моделей. • Способность проводить разметку и анализ eval-наборов по критериям accuracy, relevance, completeness, groundedness и safety. • Готовность проверять негативные, edge-case, fallback, tool calling и human handoff сценарии. Коммуникация: • Умение аргументированно обсуждать дефекты с разработчиками и PM без формального подхода «передать баг и ждать». • Готовность обучать коллег базовым QA-практикам и поддерживать внедрение стандартов в проектах. Желательный опыт: • Опыт тестирования backend, микросервисов, AI-сервисов или проектов с большим количеством интеграций. • Опыт с pytest, Playwright/Selenium, Newman, k6/JMeter или аналогичными инструментами. • Навык работы с Docker и тестовыми окружениями. • Опыт участия в клиентской приемке и сопровождении production-релизов.

Что предлагаем