QA инженер (AI-приложения)

Что предстоит делать

<h3>Наш заказчик:</h3><p>Технологическая компания, разрабатывающая приложение на основе ИИ для корпоративных пользователей. Проект направлен на предоставление точного, надежного, безопасного и удобного функционала на базе искусственного интеллекта.</p><p>Вы присоединитесь к кросс-функциональной команде и будете тесно работать с разработчиками, AI-инженерами, владельцами продуктов и бизнес-заинтересованными сторонами, чтобы обеспечивать качество AI-функций на протяжении всего жизненного цикла продукта.</p><h3>Ваши задачи:</h3><ul><li>Анализировать требования проекта, пользовательские истории и бизнес-сценарии, связанные с ИИ.</li><li>Создавать и выполнять тест-кейсы и тестовые сценарии для AI-функций и рабочих процессов.</li><li>Проводить функциональное, системное, интеграционное, регрессионное и сквозное (end-to-end) тестирование.</li><li>Проверять AI-сгенерированные ответы на точность, релевантность, полноту, ясность и согласованность.</li><li>Тестировать различные типы пользовательских вводов, включая корректные, некорректные, неполные и неоднозначные запросы.</li><li>Выявлять галлюцинации, некорректные или несогласованные ответы, предвзятость и пробелы в понимании ИИ.</li><li>Готовить тестовые сценарии на основе промптов и тестировать различные варианты промптов.</li><li>Проверять, что ИИ следует заданным инструкциям, ограничениям (guardrails), бизнес-правилам и ожидаемому тону.</li><li>Проверять AI-ответы на соответствие утвержденным источникам знаний и ожидаемым результатам.</li><li>Тестировать интеграции между AI-компонентами, API, базами данных, базами знаний и сторонними или корпоративными системами.</li><li>Проверять аутентификацию, авторизацию, доступ на основе ролей и корректность данных.</li><li>Проводить регрессионное тестирование после изменений в промптах, моделях, API или бизнес-логике.</li><li>Поддерживать переиспользуемые регрессионные тестовые наборы.</li><li>Тестировать поведение ИИ в крайних случаях и неожиданных пользовательских сценариях.</li><li>Регистрировать дефекты с четкими шагами воспроизведения, тестовыми данными, ожидаемыми и фактическими результатами, а также серьезностью.</li><li>Отслеживать дефекты с помощью Jira, Azure DevOps или аналогичных инструментов.</li><li>Тесно работать с разработчиками, AI-инженерами, владельцами продуктов и бизнес-заинтересованными сторонами для решения проблем.</li><li>Предоставлять результаты тестирования и заключение о готовности релиза.</li></ul><h3>Требуемый опыт и навыки:</h3><ul><li>3+ года коммерческого опыта в тестировании ПО / QA.</li><li>Глубокое понимание функционального, регрессионного, системного, интеграционного и сквозного (end-to-end) тестирования.</li><li>Опыт создания тест-кейсов, тестовых сценариев и тестовых данных.</li><li>Опыт тестирования AI-приложений, чат-ботов, API, корпоративных приложений или аналогичных решений.</li><li>Опыт проверки AI-сгенерированных результатов на корректность, релевантность и качество.</li><li>Понимание AI-концепций, таких как промпты, ответы LLM, галлюцинации, контекст и извлечение знаний.</li><li>Опыт работы с инструментами отслеживания дефектов, такими как Jira, Azure DevOps или аналогичными.</li><li>Хорошие аналитические навыки и навыки решения проблем.</li><li>Высокое внимание к деталям и способность выявлять несоответствия в AI-сгенерированных ответах.</li><li>Хорошие коммуникативные навыки и способность эффективно работать с кросс-функциональными командами.</li></ul><h3>Будет плюсом:</h3><ul><li>Практический опыт тестирования решений на основе генеративного ИИ, NLP, ML, чат-ботов или разговорного ИИ.</li><li>Опыт тестирования AI-приложений на основе RAG или баз знаний.</li><li>Базовое понимание prompt engineering и поведения LLM.</li><li>Опыт работы с инструментами тестирования API, такими как Postman или Swagger.</li><li>Опыт работы с инструментами автоматизации тестирования, такими как Selenium, Playwright или аналогичными.</li><li>Знание Azure OpenAI, Azure AI, Microsoft Copilot Studio, Power Platform или аналогичных AI-платформ.</li><li>Понимание prompt injection, утечки данных, контроля доступа и ответственного тестирования ИИ.</li><li>Опыт тестирования AI-интеграций с базами данных, базами знаний или сторонними сервисами.</li></ul> <div> <a href="https://jobs.dou.ua/companies/a-listware/vacancies/369408/#reply-btn-id">Відгукнутись на вакансію</a> </div>