Старший LLM-инженер

Что предстоит делать

<h3>О нас</h3><p>Xenoss — компания, предоставляющая услуги в области AI-инжиниринга и интеграции, которая помогает средним и крупным предприятиям проводить AI-трансформацию end-to-end: от анализа ситуации и формулирования целей до поиска и подготовки данных, построения пайплайнов, разработки моделей, проектирования пайплайнов переобучения, развёртывания решений и поддержки.</p><p>Мы создаём широкий спектр AI-решений: прогнозирование поведения пользователей, генерация контента, NLP, сегментация аудитории, решения для поиска путей (pathfinding), AI-ассистенты, edge computer vision, обнаружение мошенничества и другие.</p><p>Мы работаем с такими известными компаниями, как Microsoft, Toshiba, AstraZeneca, Activision Blizzard, Verve Group, Voodoo Games, Telefonica и другими.</p><p>Мы входим в топ-100 софтверных компаний списка Inc. 5000.</p><h3>Что это за проект</h3><p>Мы ищем Senior LLM Engineer для участия в долгосрочной инициативе In-Call Assistant для компании — мирового лидера в сфере финансовых услуг.</p><p>Проект посвящён созданию системы разговорного AI в реальном времени, которая поддерживает сотрудников фронт-офиса во время живого общения с клиентами. Система выявляет потребности клиента, возражения, сигналы о готовности к покупке и необходимые этапы процесса, а также предоставляет краткие рекомендации с учётом контекста.</p><p>Вы будете в первую очередь работать над слоем генерации рекомендаций: обучением и специализацией instruction-tuned языковых моделей для выдачи обоснованных, соответствующих политикам рекомендаций next-best-action на основе живого разговора и подготовленного контекста о клиенте.</p><p>Более широкое решение объединяет низколатентное обнаружение сигналов, подготовку контекста, генерацию специализированных рекомендаций, RAG по утверждённым знаниям о продуктах и политиках, а также compliance guardrails.</p><h3>Чем вы будете заниматься</h3><p>Вы будете отвечать за реализацию и постоянное совершенствование моделей генерации рекомендаций, тесно взаимодействуя с AI Solution Architect и остальной командой AI.</p><p>Основные задачи:</p><ul><li>Создание и fine-tuning специализированных моделей рекомендаций для работы с возражениями, выявления потребностей (discovery) и консультирования по продуктам</li><li>Проектирование обучающих датасетов на основе исторических разговоров, результатов, вклада SME и сгенерированной разметки</li><li>Применение SFT, preference optimization и parameter-efficient fine-tuning подходов, таких как LoRA / QLoRA</li><li>Оценка DPO, KTO и других методов post-training там, где это уместно</li><li>Создание возможностей RAG на основе утверждённых источников о продуктах, политиках и знаниях</li><li>Проектирование поведения grounding, abstention и fallback</li><li>Разработка фреймворков оценки качества рекомендаций, фактической точности, релевантности и соответствия политикам</li><li>Проведение систематического анализа ошибок и циклов улучшения моделей</li><li>Оптимизация model serving с учётом задержек, пропускной способности и ограничений инфраструктуры</li><li>Работа с командами AI, данных, MLOps и клиента для перевода моделей из стадии экспериментов в продакшен</li></ul><p>Ожидается, что вы будете глубоко вовлечены в практическую работу по обучению, fine-tuning, оценке и оптимизации LLM.</p><h3>Технологический ландшафт</h3><p>Вы будете работать в рамках современной экосистемы LLM и прикладного AI, включая:</p><ul><li>Python</li><li>PyTorch и Hugging Face</li><li>Instruction-tuned языковые модели</li><li>SFT и preference optimization</li><li>LoRA / QLoRA и PEFT</li><li>DPO, KTO и связанные подходы post-training</li><li>RAG и генерация с опорой на знания</li><li>Эмбеддинги и retrieval</li><li>Промптинг и построение контекста</li><li>Оценка генеративных моделей</li><li>Guardrails, grounding и контроль галлюцинаций</li><li>Низколатентный LLM inference и serving</li><li>MLOps, мониторинг и циклы обратной связи</li></ul><p>Мы оптимизируем измеримое качество рекомендаций, фактическую обоснованность, низкую задержку и соблюдение корпоративных ограничений.</p><h3>Зона ответственности и контекст работы</h3><p><strong>Ключевая зона ответственности</strong></p><ul><li>Реализация и улучшение модели Recommendation Generation</li><li>Обучение и поддержка специализированных адаптеров для определённых сценариев разговора</li><li>Построение пайплайнов обучения и оценки для генеративных моделей</li><li>Определение и тестирование стратегий fine-tuning и post-training</li><li>Разработка механизмов RAG и grounding для утверждённых источников знаний</li><li>Установление измеримых показателей качества рекомендаций и фактической точности</li><li>Улучшение поведения abstention, fallback и соблюдения политик</li><li>Оптимизация генеративных моделей с учётом ограничений inference в реальном времени</li><li>Участие в мониторинге в продакшене и непрерывном улучшении моделей</li></ul><p>В предложении Model 2 описана как общая instruction-tuned базовая модель с выбираемыми роутером специализированными адаптерами LoRA / QLoRA и отдельным путём RAG для фактической обоснованности.</p><h3>Команда и контекст работы</h3><ul><li>Тесная работа с AI Solution Architect и инженером, отвечающим за обнаружение сигналов</li><li>Взаимодействие с SME клиента по вопросам обучающих данных, качества рекомендаций и валидации политик</li><li>Сотрудничество с data engineering и MLOps по пайплайнам обучения, retrieval и inference</li><li>Участие в принятии технических решений через эксперименты и измеримые результаты</li><li>Работа с неполными или слабо размеченными корпоративными датасетами и помощь в создании надёжной разметки</li></ul><h3>Что мы ожидаем от вас</h3><p><strong>Обязательные требования</strong></p><ul><li>Серьёзный практический опыт создания и fine-tuning систем на базе <nobr>LLM</nobr></li><li>Уверенное владение Python</li><li>Практический опыт работы с PyTorch и Hugging Face</li><li>Опыт работы с instruction-tuned языковыми моделями</li><li>Опыт работы с SFT и parameter-efficient fine-tuning подходами, такими как LoRA / QLoRA</li><li>Глубокое понимание оценки LLM и режимов отказа генеративных моделей</li><li>Опыт подготовки обучающих датасетов для fine-tuning LLM</li><li>Опыт работы с RAG и генерацией с опорой на знания</li><li>Понимание стратегий grounding, контроля галлюцинаций и abstention</li><li>Опыт проведения систематических экспериментов и анализа ошибок</li><li>Понимание производительности inference моделей, задержек и пропускной способности</li><li>Готовность работать с зашумлёнными, неполными или слабо размеченными корпоративными данными</li><li>Способность чётко коммуницировать с техническими командами и экспертами предметной области</li></ul><p><strong>Будет плюсом</strong></p><ul><li>Опыт работы с DPO, KTO, RLHF или другими техниками preference optimization</li><li>Опыт работы с conversational AI или системами ассистентов в реальном времени</li><li>Опыт обучения нескольких специализированных адаптеров на общей базовой модели</li><li>Опыт работы с синтетическими данными или <nobr>LLM-assisted</nobr> разметкой</li><li>Опыт работы с guardrails и генерацией с ограничениями по политикам</li><li>Опыт работы с поисковыми системами и векторными базами данных</li><li>Опыт низколатентного serving LLM</li><li>Опыт в предметной области финансовых услуг</li><li>Знакомство с пайплайнами Speech / ASR</li><li>Опыт работы с MLOps и мониторингом LLM в продакшене<br><br></li></ul><h3>Модель работы</h3><ul><li>Формат сотрудничества: полная занятость, долгосрочный B2B-контракт</li><li>Местоположение: удалённо, нахождение в ЕС</li><li>Пересечение часовых поясов: минимум 4 рабочих часа пересечения с командой в Нью-Йорке</li><li>Инфраструктура: только среда клиента, без внешних сред для обучения или обработки данных</li><li>Резидентность данных: вся работа выполняется в периметре клиента</li><li>Модель поставки: первоначальный offline-прототип, затем контролируемый live-пилот и развитие в продакшене</li></ul> <div> <a href="https://jobs.dou.ua/companies/xenoss/vacancies/373686/#reply-btn-id">Откликнуться на вакансию</a> </div>