Инженер по тестированию ПО (ИИ)

Что предстоит делать

<h3>ОБЗОР ПРОЕКТА</h3><p>Software Engineer in Test (AI) — это практическая инженерная роль, которая объединяет строгость тестирования с разработкой ML. Вместо создания простых скриптов, SET пишет production-ready код для валидации, предназначенный для обеспечения надежности функций, интегрированных с AI, поведения моделей и качества данных. Основные цели тестирования охватывают UI, API, бизнес-логику и пайплайны данных, поддерживаемые широким спектром типов тестов, включая сквозные, интеграционные, модульные, валидацию моделей, качество данных и обнаружение дрейфа.</p><p>Качество в этой роли измеряется через метрики точности, индикаторы смещения и анализ поведения модели, с сильным акцентом на соответствие стандартам ISO 42001 AIMS, а также требованиям к отсутствию смещения и справедливости. Основными результатами являются наборы для валидации моделей, шлюзы качества данных и доказательства соответствия, которые вместе обеспечивают надежную структуру гарантий для AI-систем.</p><p>SET тесно сотрудничает с Team Leads, QA Engineers, Solution Architects и DevOps для обеспечения полного жизненного цикла качества. Технический стек включает Playwright, TypeScript, .NET/C#, Azure Pipelines, Docker и xUnit/NUnit, что отражает масштаб роли, охватывающий как современное веб-тестирование, так и корпоративную валидацию бэкенда.</p><h3>В ЭТОЙ РОЛИ ВЫ БУДЕТЕ</h3><ul><li><strong>Тестирование и валидация AI-моделей:</strong> Разрабатывать и внедрять фреймворки для валидации моделей: точность, прецизионность, полнота, F1 для клинических подгрупп (возраст, степень потери слуха, тип устройства).</li><li>Писать регрессионные тесты для обновлений моделей — обнаруживать скрытое ухудшение точности до любого развертывания в production.</li><li>Валидировать выходные данные моделей: Разрабатывать состязательные тестовые примеры: граничные случаи, входные данные вне распределения, граничные условия и клинически неправдоподобные входные данные.</li><li><strong>Тестирование AI API и интеграций:</strong> Разрабатывать и поддерживать наборы тестов API для конечных точек AI-функций, используемых фронтендом PMS и микросервисами.</li><li>Писать контрактные тесты между AI-сервисами и потребляющими сервисами — предотвращать поломки интеграции при обновлении или переобучении моделей.</li><li>Тестировать задержку, пропускную способность и корректную деградацию под нагрузкой (конечные точки AI-инференса имеют более строгие SLA, чем стандартные CRUD API).</li><li>Валидировать обработку ошибок: пороги уверенности модели, поведение при откате, когда модели недоступны или возвращают результаты с низкой уверенностью.</li><li>Сотрудничать с AQA над общим покрытием Playwright E2E для AI-интегрированных UI-потоков.</li><li><strong>Тестирование соответствия ISO 42001 и нормативным требованиям:</strong> Разрабатывать доказательства тестирования для ISO 42001 AIM — прослеживаемость от требований AI-системы до тестовых примеров и результатов, поддерживая аудит и сертификацию.</li><li><strong>Наблюдаемость и мониторинг production:</strong> Разрабатывать и внедрять пайплайны мониторинга моделей — отслеживать точность, распределение уверенности и дрейф предсказаний в production относительно базового уровня.</li><li>Вносить вклад в post-incident review, когда AI-функции вызывают неожиданные последствия для клинического рабочего процесса или нормативные флаги.</li><li>Возвращать результаты мониторинга production обратно в набор регрессионных тестов для предотвращения повторения и повышения устойчивости модели.</li></ul><h3>ЕСЛИ ВЫ</h3><ul><li>5+ лет в тестировании ПО; 1+ год, в частности, тестирования AI/ML-систем, пайплайнов данных или API, обслуживающих модели.</li><li>Владение фреймворками автоматизации: .NET, TypeScript / Playwright для покрытия AI-интегрированного UI.</li><li>Опыт тестирования API: контрактное тестирование, профилирование задержек, покрытие сценариев ошибок.</li><li>Глубокое понимание методологий QA, процессов и практик CI/CD.</li><li>Понимание сервис-ориентированных архитектур и архитектур микросервисов.</li><li>Понимание основ ML: train/test split, метрики оценки (прецизионность, полнота, F1, AUC).</li><li>Сильные навыки решения проблем и отладки, включая исследование проблем бэкенда и фронтенда.</li><li>Способность мыслить как конечный пользователь и тестировать соответственно, особенно когда требования к продукту минимальны или развиваются.</li><li>Хорошее владение английским языком (B2+).</li></ul><h3>БУДЕТ ПЛЮСОМ</h3><ul><li>Знакомство с Python или готовность со временем освоить его.</li><li>Методы статистического тестирования: проверка гипотез, A/B-оценка, бутстреп-доверительные интервалы.</li><li>Методы оценки и тестирования LLM (регрессионное тестирование промптов, согласованность выходных данных, обнаружение галлюцинаций).</li><li>AKS/Kubernetes, Azure Service Bus, Azure SQL, Azure AI Foundry.</li></ul><h3>ЧТО МЫ ПРЕДЛАГАЕМ</h3><ul><li>Долгосрочное сотрудничество в стабильной, растущей SaaS-компании.</li><li>Remote-first и асинхронный подход с плоской организационной структурой.</li><li>Высокая планка качества инженерии и продукта.</li><li>Команда, которая ценит глубину, а не хайп: production-качество, а не эффектные прототипы.</li><li>Культура, которая ценит личностный рост так же, как и бизнес-результаты.</li><li>Глобальная команда, охватывающая Данию, Украину, Великобританию, Польшу, Канаду, Австралию, США и другие страны.</li></ul><h3>КАК ПРОХОДИТ ПРОЦЕСС НАЙМА</h3><p>Мы стремимся сделать наш процесс найма плавным и прозрачным, чтобы найти идеальное совпадение для обеих сторон. Шаги могут различаться в зависимости от роли, но вот чего ожидать:</p><ul><li><strong>Первичное интервью:</strong> Если ваш опыт соответствует роли, мы пригласим вас на собеседование со специалистом по подбору персонала.</li><li><strong>Техническое интервью:</strong> В зависимости от должности, вы можете пройти техническую оценку или выполнить тестовое задание.</li><li><strong>Финальное решение:</strong> После всех этапов мы сообщим вам результат и следующие шаги.</li></ul>