RL Data QA инженер

Что предстоит делать

Мы ищем строгого, технически подкованного RL Data QA Engineer для проверки задач по обучению с подкреплением, созданных на нашей платформе, до того, как они попадут в передовые AI-лаборатории. Каждая задача на нашей платформе — это небольшая программная среда: инструкции, контейнеризированное окружение, эталонное решение и тесты, которые превращают работу AI-агента в награду. Прежде чем задача попадает к вам, она многократно прогоняется против передовых coding-агентов и автоматически аудируется. Вы — тот экспертный человеческий взгляд, который решает, достаточно ли она хороша для обучения и оценки следующего поколения AI. Корректна ли она, справедлива ли, сложна ли и невозможно ли её обойти? Что вы будете делать Проводить сквозную проверку RL-задач: изучать инструкции, окружения, эталонные решения и тесты и решать, соответствует ли каждая задача нашей планке качества. Ломать верификатор: искать способы, которыми агент мог бы пройти задачу, не решив её по-настоящему, — например, слабые тесты, утёкшие решения или лазейки в окружении. Читать траектории агентов: анализировать, как передовые coding-агенты пытались выполнить каждую задачу, и отличать настоящее решение от случайного или нелегитимного. Оценивать сложность по данным: интерпретировать pass rates по моделям и попыткам и решать, когда результат надёжен, а когда нужно больше доказательств. Отделять дефекты задачи от дефектов платформы: следить за тем, чтобы контрибьюторов оценивали по их работе, а не по проблемам инфраструктуры. Писать обратную связь, которая приводит к исправлению задач: давать контрибьюторам точные, действенные комментарии, чтобы задача улучшалась за одну итерацию, а не за три. Постоянно поднимать планку: превращать повторяющиеся дефекты в правила рубрики, автоматические проверки и улучшенные шаблоны задач, работая с нашими инженерами и исследователями. Что мы ищем Сильные инженерные навыки: уверенное владение Python, Bash, Linux и Docker. Вы способны самостоятельно собрать, запустить, сломать и починить окружение задачи. Состязательное мышление: вам нравится находить дыру — эксплойты, пробелы в тестах, граничные случаи, reward hacks. Чёткое, точное письмо: ваша обратная связь конкретна, действенна и уважительна. Статистическое здравомыслие: вы достаточно хорошо понимаете pass rates, малые выборки и дисперсию, чтобы делать обоснованные выводы. Ответственность и автономность: вы берёте на себя ответственность за качество, включая проблемы, которые никто другой не заметил, и работаете без постоянного надзора. Амбициозность и драйв: высокомотивированный, находчивый и ориентированный на результат человек, который хочет быстро расти и оказывать ощутимое влияние на передовой AI. Мы ценим продемонстрированные достижения, интеллектуальное любопытство и способность доводить дело до результата больше, чем годы опыта или впечатляющие должности. Будет плюсом Опыт работы с RL-окружениями, оценками LLM, бенчмарками или reward modeling. Глубокие технические знания хотя бы в одной области: например, QA, software engineering, networking, security, data или ML engineering. Опыт создания задач или бенчмарков для AI-агентов. Свободное владение AI coding-агентами (Claude Code, Codex, Cursor или аналогичными) как инструментами проверки. Опыт написания руководств по проверке или калибровки команды проверяющих. Почему стоит присоединиться к ARIMLABS? Формируйте передовой AI напрямую: задачи, которые вы одобряете, обучают и оценивают следующее поколение AI coding-агентов. Исключительные возможности для роста: присоединяйтесь к быстрорастущей AI-исследовательской компании на ранней стадии с путём к руководству функцией QA по мере её роста. Высокая автономность: свобода принимать экспертные решения и предлагать лучшие способы работы без лишней бюрократии. Работа с исключительными людьми: сотрудничайте с высококвалифицированными исследователями, инженерами и экспертами в предметных областях, работающими над сложными задачами на переднем крае искусственного интеллекта. Соприкосновение с передовым AI: каждый день наблюдайте, как самые способные AI-агенты добиваются успеха, терпят неудачу и жульничают. Предпринимательская среда: работайте в компании, которая ценит инициативу, скорость, ответственность и амбициозное мышление. Гибкость карьеры: развивайтесь в сторону руководства QA, исследований или дизайна задач по мере расширения организации. Компенсация и условия работы Формат сотрудничества: контракт B2B. Отпуск: 24 дня оплачиваемого отпуска ежегодно.