QA Engineer (AI Agents)

**QA Engineer (AI Agents)** - вне РФ Мы — Aspirity Solution, студия разработки, более 10 лет создающая веб- и мобильные приложения, no-code решения и интеллектуальных AI-агентов для клиентов по всему миру. Ищем внимательного и системного QA-инженера, который будет отвечать за качество и стабильность AI-агентов. **Обязанности** — Тестирование и оценка работы AI-агентов (диалоговые и когнитивные системы). — Разработка и проведение eval-тестов для анализа корректности, устойчивости и предсказуемости поведения агентов. — Подготовка тест-кейсов и сценариев функционального и нефункционального тестирования. — Анализ поведения агентов при нестандартных входных данных, выявление логических ошибок и погрешностей в промптах. — Взаимодействие с разработчиками и prompt-инженерами для улучшения моделей и тестовых пайплайнов. — Поддержка автоматизации тестирования и развитие QA-процессов внутри AI-команды. — Ведение технической документации. **Требования** — Опыт работы в QA (manual или automation) от 2 лет. — Опыт тестирования AI-агентов или чат-ботов. — Понимание принципов работы AI-агентов, LLM-систем и prompt-инженерии. — Опыт работы с eval-инструментами (OpenAI Evals, DeepEval, LangChain Evals или аналогами). — Опыт автоматизированного тестирования агентов (желательно). — Владение Python на уровне написания тестов и утилитарных скриптов. — Навыки работы с Git и системами отслеживания ошибок. — Английский не ниже B2 для коммуникации в международной команде. — **Кандидат должен находиться вне РФ.** — **Обязательная доступность в PT-часовом поясе: присутствие онлайн с 7:00 PT до 16:00 PT.** **Будет плюсом** — Опыт работы с LangChain, vapi, Synthflow или другими инструментариями создания AI-агентов. — Опыт анализа выходов LLM по метрикам качества (accuracy, coherence, relevance). — Понимание CI/CD-процессов и базовых инструментов мониторинга. — Опыт участия в построении тестовой архитектуры для AI-систем. **Мы предлагаем** — Удалённый формат работы. — Работа в команде разработчиков, ML-инженеров и AI-специалистов. — Возможность развиваться в QA-направлении для систем с LLM и AI-агентами. — Оплата по квалификации: от 20 USD/час. 📎