AI/LLM Engineer

Мы в hh создаем продукты и AI-ассистентов для работодателей и соискателей на базе генеративных технологий. Уже сейчас мы используем LLM-модели для генерации текстов, ведения диалогов, классификации и анализа вакансий и резюме. Направление активно развивается, и сейчас мы ищем талантливого AI/LLM инженера, который поможет нам в выстроить в компании эффективную систему оценки качества GenAI фичей. Если вам интересно закладывать основу для устойчивого использования GenAI в продуктах — через бенчмарки, метрики и процессы, которым будут следовать десятки команд, и вы смотрите на ML не просто как на модели, а как на инструмент влияния на продукт — мы будем рады видеть вас в нашей команде. ​Чем предстоит заниматься: • Помогать выстраивать процессы разработки и валидации GenAI-решений на основе Evaluation-driven-development подхода; • Разрабатывать высокопроизводительный сервис для массового тестирования GenAI решеий - от QA запросов к LLM до сложных агентов с отдельным окружением; • зрабатвать внутренние бенчмарки по hr домену для оценки OSS LLM; • Проектировать метрики качества, разрабатывать валидационные пайплайны; • Настраивать observability для поддержания качества работы GenAI решений в проде; • Организовывать человеческую разметку и разрабатывать LLM-as-Judge; • Разрабатывать и поддерживать лучшие практики, кукбуки, инструкции и другие материалы, которые помогут командам ускорить и упростить процесс разработки и тестирования GenAI; • Активно взаимодействовать с продуктовыми командами, помогать внедрять инструменты и подходы к оценке качества GenAi решений.