Data QA Engineer

Что предстоит делать

«АйрисДев» — международная IT-компания, предоставляющая услуги по разработке и поддержке программного обеспечения, а также разрабатывающая собственные продукты для глобальных рынков. Мы фанаты своего дела и будем рады новым горящим глазам в нашей команде! Мы занимаемся полным циклом разработки ML-решений: AI бот, система рекомендации, прогнозы. От обучения моделей до вывода их в продакшн. Мы ищем человека, который понимает, что тестирование машинного обучения отличается от тестирования калькулятора, и знает, как проверить качество предсказаний в динамической среде. Мы ждём как абсолютно готового Data QA специалиста, так и человека, который готов разобраться вместе с нами. Мы ждем от тебя: • Опыт в QA от 2-3 лет: ты понимаешь теорию тестирования и умеешь работать с API (Postman, Requests). Проверяешь не только корректность статус-кодов (200 OK), но и логическую адекватность ответов моделей; • Уверенный Python: умение читать код моделей и писать скрипты для обработки данных; • Базовое понимание ML: ты знаешь, что такое Precision, Recall, F1-score, и понимаешь разницу между классификацией и регрессией; • Математическая интуиция: понимание, почему результат модели может плавать и как отличить статистическую погрешность от критической ошибки кода. Умение создавать тесты, которые учитывают вероятностную природу ответов (statistical testing) вместо жесткого сравнения «ожидаемое == фактическое».

• Построить Precision@K метрику для рекомендательной системы;
• Проверять корректность расчета фичей в ML pipeline;
• Писать простые SQL Select запросы;
• Создать тестовый датасет (input, expected_behavior, must_have, not_have);
• Вместе с MLops, ModelOps настроить регулярный прогон тестов;
• Разработать механизм проверки на prompt injection;
• Автоматизировать регрессионное тестирование модели RAGAS(Faithfulness) и т.д
• Будет плюсом:
• Умения писать автотесты на Python для проверки пайплайнов обработки данных и вызова моделей.
• Опыт работы с Pandas, NumPy, Scikit-learn.

Что предлагаем