QA-инженер (AI-оценка и автоматизация)

Что предстоит делать

Мы ищем инженера, ориентированного на качество, который сочетает в себе солидный фундамент ручного тестирования с практическим опытом автоматизации и растущим интересом к оценке AI. Вы глубоко заботитесь о том, как ведут себя системы, вас не устраивает поверхностное тестирование, и вам интересно, как выглядит современный QA в мире, управляемом искусственным интеллектом. **Чем вам предстоит заниматься** * Разработка и выполнение стратегий оценки для функций на базе AI, включая сценарии на основе LLM, рекомендательные системы и логику принятия решений. * Проверка результатов AI на корректность, согласованность, предвзятость, риск галлюцинаций и крайние случаи — с определением четких качественных и количественных критериев приемки. * Проведение глубокого ручного, исследовательского и сценарного тестирования по всему продукту: от сценариев на базе AI до основной функциональности приложения. * Создание и поддержка автоматизированных наборов тестов для UI и API, а также обеспечение их стабильной работы в CI/CD. * Создание и поддержка автоматизированных конвейеров оценки и регрессионного тестирования для систем с поддержкой AI. * Выявление рисков недетерминированности и надежности, характерных для AI-систем, и предложение практических мер по их снижению. * Тесное взаимодействие с инженерами и продуктовыми командами для улучшения тестируемости, наблюдаемости и общего качества релизов. * Тестирование производительности, нагрузки и безопасности. **Кого мы ищем** * Острое аналитическое мышление и внимание к деталям — вы замечаете то, что упускают другие. * Более 4 лет практического опыта ручного тестирования, включая исследовательское тестирование, планирование тестов и написание критериев приемки для сложных или корпоративных систем. * Более 4 лет опыта автоматизации тестирования с использованием таких фреймворков, как Playwright, Cypress или Selenium — покрытие уровней UI и/или API. * Уверенное написание и поддержка тестового кода на TypeScript/JavaScript, Python, Java. * Подтвержденная способность владеть полной стратегией тестирования, а не просто выполнять тест-кейсы. * Глубокое понимание поведения AI-систем, включая недетерминированность, чувствительность к промптам и уникальные проблемы валидации выходных данных моделей. * Уверенное чтение бэкенд-кода для отладки сбоев тестов и понимания поведения системы. **Будет плюсом** * Опыт работы с фреймворками оценки AI, тестированием промптов или методами валидации моделей. * Знакомство с концепциями агентного QA и рабочими процессами тестирования с помощью AI. * Практический опыт SDET — от проектирования фреймворков до внутреннего инструментария. * Опыт работы с инструментами наблюдаемости и понимание того, как они поддерживают качество в производственных системах. **Что мы предлагаем** * Конкурентоспособная компенсация и пакет льгот. * Работа в формате remote-first с гибким графиком. * Возможности для профессионального роста, обучения и получения сертификатов. * Динамичная среда, где высоко ценятся инновации, безопасность, операционное совершенство и передовые технологии машинного обучения. * Проекты, охватывающие передовые области AI, UX, финтеха и медицинских технологий. <div> <a href="https://jobs.dou.ua/companies/windmill-smart-solutions/vacancies/368744/#reply-btn-id">Відгукнутись на вакансію</a> </div>