Старший AI AQA инженер

Что предстоит делать

<p><strong>Описание вакансии:</strong></p><p>Мы ищем <strong>Senior AI AQA Engineer</strong>, который возглавит проектирование, разработку и выполнение стратегий тестирования для наших систем на основе AI/ML. В этой роли вы будете играть критически важную роль в формировании того, как мы обеспечиваем качество, надёжность, справедливость и устойчивость наших AI-продуктов. Вы будете отвечать за обеспечение качества, надёжности и производительности наших продуктов и систем на основе AI/ML. Вы будете сотрудничать с кросс-функциональными командами для тестирования end-to-end пайплайнов, автоматизации процессов валидации и внедрения лучших отраслевых практик по обеспечению качества AI.</p><p><strong>Что вы будете делать</strong></p><ul><li>Работать с QA-лидом над совместной разработкой QA-стратегии для AI/ML-систем, включая оценку моделей, валидацию данных и целостность пайплайнов</li></ul><ul><li>Проектировать и внедрять надёжные фреймворки автоматизированного и ручного тестирования, адаптированные под AI-воркфлоу, валидацию моделей преимущественно с использованием AI-агентов</li></ul><ul><li>Валидировать производительность моделей с помощью таких метрик, как accuracy, F1 score, precision/recall, bias, drift и explainability</li></ul><ul><li>Обеспечивать непрерывное тестирование в ML-пайплайнах (CI/CD для AI), обеспечивая масштабируемое развёртывание и мониторинг моделей, включая регрессионное тестирование</li></ul><ul><li>Выявлять и устранять риски качества, связанные с разметкой данных, обучающими данными и поведением моделей в продакшене.</li></ul><ul><li>Сотрудничать с командами engineering, DevOps и product для обеспечения согласованности целей по качеству.</li></ul><ul><li>Тестировать AI-системы на точность, справедливость, bias, drift, устойчивость и масштабируемость.</li></ul><ul><li>Анализировать результаты тестирования, обнаруживать аномалии и сообщать о багах или несоответствиях с использованием AI-агентов.</li></ul><ul><li>Помогать в проектировании систем мониторинга производительности моделей в продакшене.</li></ul><ul><li>Документировать тест-кейсы, инструменты и процессы для внутренних команд и аудитов.</li></ul><ul><li>Быть в курсе лучших практик QA для машинного обучения и AI-систем.</li></ul><p><strong>Ваши первые 90 дней</strong></p><p>Вы начнёте с изучения и понимания наших продуктов, в том числе через опыт нашей текущей команды. Вы будете отвечать за построение mind maps продукта, чтобы помочь в проектировании, руководстве и предложении QA-стратегий тестирования для нашего AI-продукта в сотрудничестве с командами product и eng. Вы будете отвечать за создание первого набора QA-тест-кейсов (ручных или автоматизированных), чтобы начать построение QA-пайплайнов.</p><p><strong>Кто вы</strong></p><ul><li>5+ лет опыта в QA-инжиниринге, <strong>при этом как минимум 2+ года с фокусом на AI/ML-системах</strong>.</li></ul><ul><li><strong>Уверенное владение Python с практическим опытом тестирования ML-кода и пайплайнов.</strong></li></ul><ul><li>Знакомство с такими концепциями тестирования, как adversarial testing, edge case discovery и генерация синтетических данных.</li></ul><ul><li>Опыт работы с CI/CD, Git, Docker и как минимум одной крупной облачной платформой (AWS, GCP, Azure).</li></ul><ul><li>Сильные коммуникативные навыки с умением влиять на технических и нетехнических стейкхолдеров.</li></ul><ul><li>Понимание методологий тестирования, анализа покрытия тест-кейсов и эффективных стратегий hardening и exploration.</li><li>Опыт создания AI-агентов для тестирования как для ручного, так и для автоматизированного тестирования.</li></ul><p><strong>Ваши отличительные качества</strong></p><ul><li>Способность работать и сотрудничать с другими удалённо</li></ul><ul><li>Ориентация на эффективность</li></ul><ul><li>Лидирует своим примером</li></ul><ul><li>Наставник для команды</li></ul><ul><li>Решатель проблем</li></ul><ul><li>Сильные аналитические навыки</li></ul><ul><li>Гибкость и адаптивность к меняющимся приоритетам и проектам/приложениям</li></ul> <div> <a href="https://jobs.dou.ua/companies/u-testing/vacancies/311913/#reply-btn-id">Откликнуться на вакансию</a> </div>