Middle ML / AI QA Engineer

Что предстоит делать

<p>Привет, давай знакомиться! Мы компания robota.ua — онлайн-платформа по поиску работы в Украине. Мы являемся частью европейского холдинга Grupa Pracuj Ltd и партнером международной сети The Network. Ежедневно мы помогаем тысячам людей найти работу, а компаниям найти сотрудников как можно быстрее и комфортнее!</p><p>Мы ищем Middle ML / AI QA Engineer, который усилит нашу команду и возьмет на себя контроль качества AI/ML-сервисов, рекомендательных систем, векторного поиска и пайплайнов обработки данных. Если ты умеешь смотреть на качество глубже классического UI — понимаешь метрики моделей, пишешь сложный SQL и используешь современные AI-инструменты для оптимизации тестирования — мы будем рады пообщаться!</p><p><strong>Основные обязанности:</strong></p><ul><li>Тестирование <nobr>ML-моделей</nobr> и AI-фич: оценка качества работы моделей (рекомендации, векторный поиск, генерация контента), валидация бизнес-метрик, поиск смещений (bias), аномалий и ложных срабатываний.</li><li>Валидация данных и ETL-процессов: анализ и тестирование логики больших пайплайнов, скриптов трансформации данных; проверка целостности, корректности агрегаций и сравнение наборов данных.</li><li>Тестирование интеграций и API: функциональное и интеграционное тестирование REST API и GraphQL.</li><li>AI-Assisted тестирование и автоматизация: использование GenAI-инструментов (Claude, Gemini и т.д.) и Python для быстрой генерации тест-кейсов, скриптов валидации и автоматизации рутинных проверок.</li><li>Тестовая документация и процессы: создание матриц покрытия, тест-процедур, чек-листов для сложных сценариев, репортинг дефектов в Jira и взаимодействие в Confluence.</li><li>Кросс-командное взаимодействие: тесное сотрудничество с Data Engineers, Data Scientists/ML-разработчиками и продуктовыми командами для быстрого решения найденных проблем.</li></ul><p><strong>Основные требования:</strong></p><ul><li>Опыт: от 2+ лет в роли QA Engineer с фокусом на тестирование AI-моделей, бэкенда, данных и сервисов машинного обучения.</li><li>Понимание ML/AI концепций:</li><li>Понимание базовых метрик качества моделей (Precision, Recall, F1-score и т.д.).</li><li>Понимание специфики тестирования нетерминированных систем, оценки качества контента, паттернов ошибок и смещений.</li><li>Работа с данными и SQL:</li><li>Уверенное владение SQL: умение писать сложные аналитические запросы (JOINs, агрегации, оконные функции) для сверки больших массивов данных.</li><li>Практический опыт работы с DWH/СУБД (Google BigQuery и/или MS SQL Server).</li><li>Тестирование API:</li><li>Уверенное тестирование REST API и GraphQL (формирование сложных запросов/мутаций, валидация схемы и ответов).</li><li>Python &amp; AI-тулинг:</li><li>Базовые навыки Python для обработки данных (скрипты проверки, обработка JSON/CSV).</li><li>Практический опыт использования LLM/GenAI (Claude, Gemini, ChatGPT) как ассистента для генерации проверок и написания скриптов.</li><li>Базовые инженерные практики:</li><li>Работа с Git.</li><li>Работа с таск-трекерами и документацией (Jira / Confluence).</li><li>Навыки тестирования</li><li>Знание и использование техник тест-дизайна.</li><li>Внимательность к деталям и умение находить дефекты.</li><li>Понимание жизненного цикла разработки ПО (SDLC) и методологий тестирования.</li><li>Умение провести нефункциональные виды тестирования (performance, UIUX, compatibility)</li></ul><p><strong>Будет плюсом:</strong></p><ul><li>Опыт тестирования векторных баз данных / векторного поиска или RAG-систем.</li><li>Опыт работы с очередями сообщений или инструментами оркестрации пайплайнов (Airflow и т.д.).</li><li>Знание Elasticsearch.</li></ul><p><strong>Тебя ждут:</strong></p><ul><li>Возможность напрямую влиять на рынок трудоустройства страны;</li><li>Работа с командой высококвалифицированных технологических лидеров;</li><li>Десятки тысяч(!) компаний, для которых нужно создавать ценность. Количество активных пользователей исчисляется миллионами;</li><li>Отсутствие необходимости оформлять официальный больничный лист на первые три дня заболевания, если ты чувствуешь, что скоро будешь на 100% готов приступить к работе;</li><li>Медицинское страхование;</li><li>График работы — удаленный. Главное достигать лучших результатов.</li><li>Корпоративы и тимбилдинги — мы очееень любим проводить время вместе :)</li></ul><p>Уже представляешь себя в нашей большой команде? Тогда отправляй свое резюме и приходи знакомиться :)</p> <div> <a href="https://jobs.dou.ua/companies/rabota-ua/vacancies/377055/#reply-btn-id">Откликнуться на вакансию</a> </div>