Старший инженер по обеспечению качества ИИ (QA)

Что предстоит делать

<p><strong>Innovecs</strong> — это глобальная цифровая сервисная компания, представленная в США, Великобритании, ЕС, Израиле, Австралии и Украине. Специализируясь на программных решениях, команда Innovecs имеет опыт в таких областях, как Supply Chain, Healthtech, Collaboration Tech и Gaming.</p><p> </p><p>Уже пятый год подряд Innovecs входит в рейтинг Inc. 5000 — список самых быстрорастущих частных компаний США, а также в рейтинг лучших мировых поставщиков аутсорсинговых услуг по версии IAOP. Недавно Innovecs была удостоена престижной награды Global Good Awards в категориях «Вовлеченность сотрудников и благополучие», завоевала золото на Employer Brand Management Awards и вошла в глобальный рейтинг Global Top 100 Inspiring Workplaces.</p><p><strong>Что мы предлагаем:</strong></p><ul><li>Гибкий график и удаленный формат работы,</li><li>Конкурентоспособная оплата труда,</li><li>Полное обеспечение Hardware/Software — все, что нужно для работы,</li><li>Культура открытых дверей, прозрачная коммуникация и доступность топ-менеджмента,</li><li>Медицинская страховка, отпуск, больничные, праздничные дни, оплачиваемый декретный отпуск,</li><li>Доступ к нашему центру обучения и развития: воркшопы, вебинары, обучающая платформа и edutainment-мероприятия,</li><li>Виртуальные тимбилдинги и социальные активности.</li></ul><p><strong>Если вы чувствуете, что идеально подходите для этой роли, присылайте нам свое резюме!</strong></p><p><strong>Нет никаких ограничений и барьеров, когда на вашем пути встречаются правильные люди — откликайтесь на вакансию и достигайте успеха вместе с нами!</strong></p><p><em>Innovecs — работодатель, предоставляющий равные возможности. Все решения о найме основаны на профессиональных качествах, навыках и опыте. Мы стремимся к прозрачному процессу подбора, основанному на заслугах, который предотвращает дискриминацию и обеспечивает равные возможности для всех кандидатов. Разумные приспособления для обеспечения доступности и инклюзивности доступны по запросу на протяжении всего процесса найма.</em></p><p>Требования</p><ul><li>5+ лет опыта в области обеспечения качества и автоматизации тестирования.</li><li>2+ года опыта тестирования приложений с использованием ИИ, LLM-решений или агентных систем.</li><li>Отличное владение Python/Java/Javascript.</li><li>Опыт работы с Playwright, Selenium, Cypress или аналогичными фреймворками автоматизации.</li><li>Глубокое понимание методологий тестирования ПО и техник разработки тестов.</li><li>Опыт тестирования API, интеграционного и баз данных.</li><li>Опыт работы с CI/CD пайплайнами и DevOps-практиками.</li><li>Знание фреймворков оценки ИИ.</li><li>Понимание специфических для ИИ режимов отказов: галлюцинации, prompt injection, jailbreak-атаки, дрейф моделей, проблемы смещения и справедливости, сбои RAG.</li><li>Опыт работы в cloud-native средах (Azure или AWS).</li><li>Понимание архитектуры MCP и интеграций агент-инструмент.</li></ul><p><strong>Будет плюсом:</strong> Опыт работы с платформами Supply Chain, Logistics, WMS, TMS, OMS или ERP. Опыт работы с LangSmith, Braintrust, MLflow, Arize или Evidently AI. Знакомство с EU AI Act и фреймворками управления ИИ.</p><p><strong>Существенный плюс:</strong> Сертификация ISTQB CT-AI или эквивалентные сертификаты в области тестирования ИИ. Вклад в фреймворки тестирования ИИ или open-source проекты. Лидерский опыт в управлении стратегией качества ИИ в нескольких командах. Знание складских операций и процессов выполнения заказов.</p><p>Обязанности</p><p><strong>Фокус:</strong> QA LLM на уровне приложений и инженерия качества предприятия/AISDLC.</p><p><strong>Инженерия качества ИИ:</strong> * Разработка и реализация стратегий качества для ИИ-ассистентов, копилотов и автономных агентов на складе. * Создание фреймворков оценки для <nobr>LLM-на основе</nobr> складских рабочих процессов и агентных систем. * Определение и поддержание golden datasets и бенчмарк-сценариев для складских операций. * Валидация сгенерированных ИИ рекомендаций, решений и действий в рабочих процессах. * Проведение тестирования на галлюцинации, фактологичность, обоснованность и качество ответов. * Валидация RAG-реализаций и точности поиска. * Разработка тестов траекторий агентов для многошаговых автономных рабочих процессов. * Проведение состязательного тестирования, тестирования prompt injection и оценки jailbreak-атак. * Мониторинг дрейфа моделей, деградации качества выходных данных и тенденций производительности ИИ.</p><p><strong>Автоматизация тестирования и корпоративное качество:</strong> * Создание и поддержка масштабируемых фреймворков автоматизации для функционального, API, интеграционного и сквозного тестирования. * Разработка quality gates в CI/CD для релизов с ИИ и без ИИ. * Валидация корпоративных интеграций с WMS, ERP, TMS, OMS, WCS и сторонними платформами. * Внедрение автоматизированных регрессионных наборов для критически важных бизнес-процессов склада. * Обеспечение готовности к релизу с помощью риск-ориентированного тестирования и метрик качества. * Проведение анализа первопричин сложных системных дефектов. * Продвижение лучших практик качества среди инженерных команд.</p><p><strong>Управление и соответствие требованиям</strong> * Определение стандартов качества ИИ и методологий тестирования. * Обеспечение соответствия EU AI Act, ISO 42001 и принципам ответственного ИИ. * Ведение готовой к аудиту документации по качеству и отчетов по оценке. * Установление измеримых KPI для надежности, безопасности и бизнес-точности ИИ. * Вклад в стандарты инженерии качества ИИ и Центры компетенций (Centers of Excellence).</p><p><strong>Межфункциональное взаимодействие</strong> * Партнерство с AI Product Engineer, Solution Architect и UX Lead. * Участие в ревью дизайна ИИ-решений. * Управление бизнес-требованиями склада и поддержание стратегий валидации.</p> <div> <a href="https://jobs.dou.ua/companies/innovecs/vacancies/372499/#reply-btn-id">Откликнуться на вакансию</a> </div>