AI разработчик (LLM оценка и автотесты)

Что предстоит делать

<p>IT Craft ищет опытного AI Developer с практическим опытом в оценке LLM и автоматизированном тестировании, чтобы присоединиться к нашей команде. В этой роли вы возьмёте на себя ответственность за проектирование и реализацию фреймворка оценки для развёрнутого AI-ассистента, работающего на AWS Bedrock, при поддержке инфраструктуры со стороны внутренней команды DevOps.</p><p><strong>Ключевые обязанности:</strong></p><ul><li>Проектирование и реализация инфраструктуры автоматизированного end-to-end и регрессионного тестирования для ассистента на основе <nobr>LLM</nobr>;</li><li>Создание harness для оценки, который прогоняет структурированный набор сценариев промптов против развёрнутого сервиса;</li><li>Реализация автоматизированных проверок корректности ответов, использования инструментов и поведения guardrail;</li><li>Формирование чётких результатов pass/fail на основе согласованных базовых линий оценки;</li><li>Сотрудничество с внутренней командой DevOps для интеграции прогонов оценки в процессы CI/CD и выявления регрессий качества и поведения до и после деплоев;</li><li>Анализ результатов оценки и непрерывное улучшение покрытия тестами и надёжности;</li><li>Самостоятельное планирование и организация реализации, определение последующих задач и координация с внутренними специалистами через регулярные синхронизационные встречи.</li></ul><p><strong>Требуемые навыки:</strong></p><ul><li>Практический опыт работы с инструментами оценки LLM, такими как Promptfoo, Langfuse, Arize или аналогичными решениями;</li><li>Практический опыт проектирования или реализации автоматизированной оценки и регрессионного тестирования для приложений на основе <nobr>LLM</nobr>;</li><li>Понимание подходов, используемых для оценки недетерминированных ответов LLM, вызовов инструментов и поведения guardrail;</li><li>Солидный опыт работы с AWS и CI/CD;</li><li>Способность спроектировать решение с нуля и самостоятельно его реализовать;</li><li>Знакомство с Kotlin и Spring будет плюсом;</li><li>Сильный письменный и устный английский (Upper-Intermediate+ / Advanced).</li></ul><p><strong>IT Craft предлагает:</strong></p><ul><li>Конкурентную компенсацию в соответствии с квалификацией;</li><li>Гибкий рабочий график, удалённую работу;</li><li>Возможность карьерного роста;</li><li>Компенсацию технических курсов, образовательных ресурсов и спорта;</li><li>Внутреннее обучение английскому языку;</li><li>Дружную команду открытых людей.</li></ul><p>Пожалуйста, отправьте своё CV.</p> <div> <a href="https://jobs.dou.ua/companies/i-techs/vacancies/372774/#reply-btn-id">Откликнуться на вакансию</a> </div>