QA Engineer (ML/AI)

Что предстоит делать

• Тестирование ML-модели:
• Проверка точности, полноты и recall модели на различных наборах данных.
• Анализ метрик качества (accuracy, precision, recall, F1-score, AUC-ROC и др.) и понимание, что каждая из них означает в контексте конкретной задачи.
• Проведение A/B тестов разных версий моделей.
• Смещение (Bias) и Дисперсия (Variance): Умение распознавать случаи переобучения (overfitting) и недообучения (underfitting).
• Тестирование на смещенных данных (Bias & Fairness): поиск сценариев, где модель работает несправедливо по отношению к определенным группам (например, по полу, возрасту, расе).
• Тестирование данных (Data Testing):
• Проверка качества входных данных: их полноты, консистентности, корректности форматов.
• Валидация данных, используемых для обучения и валидации модели.
• Тестирование функциональности AI-фич:
• Проверка корректности и уместности ответов, работы с контекстом.
• Проверка релевантности выданных рекомендаций.
• Работа с "Пограничными случаями" (Edge Cases) и "Составлением яда" (Data Poisoning):
• Целенаправленный поиск и создание входных данных, которые могут сломать или обмануть модель (adversarial examples).
• Тестирование модели на данных, сильно отличающихся от обучающей выборки (out-of-distribution data).
• Функциональное тестирование

Что ждём от вас

• Базовые знания:
• Разработка и поддержка тест-кейсов, чек-листов, тест-планов.
• Активное использование техник тест-дизайна для покрытия функциональности.
• Качественное оформление баг-репортов с четкими шагами воспроизведения, логами, скриншотами.
• Умение декомпозировать сложную проблему на составляющие.
• Анализ корневых причин (Root Cause Analysis)
• Технические навыки:
• Умение работать с системами баг-трекинга (Jira, Bugzilla, Redmine)
• Уверенное написание SQL запросов: SELECT, WHERE, JOIN (как минимум INNER и LEFT), GROUP BY, ORDER BY
• Инструменты: опыт работы с инструментами тестирования и БД (Postman, Swagger, Kafka, ELK, DevTools, PostgreSQL, MySQL, SQL Server.)
• Знание форматов данных: JSON, XML.
• Понимание типов API: REST (обязательно), знакомство с GraphQL (будет плюсом).
• Базовое понимание одного из языков программирования (Java или JavaScript/Python). Умение прочитать и понять чужой код.
• Личные качества:
• Внимательность, аналитическое мышление, умение работать в команде
• Самостоятельное планирование
• Принятие решений
• Инициатива
• Английский язык: технический уровень для работы с документацией

Что предлагаем