Старший Data Scientist

Что предстоит делать

<h3>О нас</h3><p>Xenoss — компания, предоставляющая услуги в области AI-инжиниринга и интеграции. Мы помогаем средним и крупным предприятиям проводить AI-трансформацию от начала до конца: анализ ситуации и постановка целей, обнаружение и подготовка данных, построение пайплайнов, разработка моделей, проектирование пайплайнов переобучения, деплой и поддержка.</p><p>Мы создаём широкий спектр AI-решений: прогнозирование поведения пользователей, генерация контента, NLP, сегментация аудитории, поиск оптимальных путей, AI-ассистенты, edge computer vision, обнаружение мошенничества и многое другое.</p><p>Мы работаем с такими известными компаниями, как Microsoft, Toshiba, AstraZeneca, Activision Blizzard, Verve Group, Voodoo Games и Telefonica.</p><p>Мы входим в топ-100 софтверных компаний списка Inc. 5000.</p><h3>Что это за проект</h3><p>Мы ищем Senior Data Scientist для долгосрочной инициативы In-Call Assistant с ведущей мировой компанией в сфере финансовых услуг.</p><p>Проект посвящён созданию системы разговорного AI в реальном времени, которая поддерживает сотрудников фронт-офиса во время живых разговоров с клиентами. Система выявляет потребности клиентов, возражения, сигналы о готовности к покупке и необходимые шаги процесса, а также предоставляет краткие рекомендации с учётом контекста.</p><p>Вы будете в первую очередь работать над слоем обнаружения сигналов и триггеров: превращение потоков живых разговоров в структурированные сигналы, оценки уверенности и решения о маршрутизации при строгих требованиях к задержке.</p><p>Более широкое решение объединяет обнаружение сигналов с низкой задержкой, подготовку контекста, генерацию рекомендаций специалистам, RAG по утверждённым знаниям о продуктах и политиках, а также комплаенс-ограничения.</p><p>Данные большие и неструктурированные. Они включают более миллиона транскриптов звонков speech-to-text с редактированием PII, ошибками ASR и без gold-разметки.<br><br></p><h3>Что вы будете делать</h3><p><strong>Обработка текстовых данных</strong></p><ul><li>Создавать масштабируемые пайплайны для очистки и нормализации зашумлённых транскриптов звонков ASR.</li><li>Работать с текстом с отредактированными PII и типизированными плейсхолдерами. Обнаруживать и измерять ошибки редактирования.</li><li>Сегментировать разговоры на реплики. Восстанавливать реплики, разорванные перебиваниями и наложением.</li><li>Удалять почти дублирующиеся и низкокачественные образцы (MinHash/LSH, сходство эмбеддингов, эвристические и модельные фильтры качества).</li><li>Извлекать и кластеризовать возражения и ответы агентов с помощью эмбеддингов и тематических моделей.</li><li>Формировать обучающую, валидационную и тестовую выборки с разбиением по времени и без утечек.</li></ul><p><strong>Супервизия и разметка</strong></p><ul><li>Создавать обучающие цели на основе сигналов результата: следующая реакция клиента, конверсия звонка и эффективность агента.</li><li>Создавать метки с помощью <nobr>LLM-assisted</nobr> аннотации. Валидировать их с экспертами по продажам.</li><li>Применять weak supervision и обнаружение шума меток к слабо размеченным данным.</li><li>Формировать датасеты предпочтений: пары chosen/rejected для DPO и пулы good/bad для KTO.</li><li>Балансировать данные по таксономии из примерно 50 типов возражений.</li></ul><p><strong>Fine-tuning и post-training LLM</strong></p><ul><li>Запускать и улучшать supervised fine-tuning (SFT) с помощью LoRA/QLoRA и методов полного дообучения параметров.</li><li>Запускать оптимизацию предпочтений: DPO, KTO, ORPO, SimPO и итеративный on-policy DPO.</li><li>Запускать обучение с подкреплением на уровне реплик с GRPO (и PPO там, где это полезно).</li><li>Обучать reward-модели для качества ответов и вероятности конверсии.</li><li>Проектировать составные награды (reward-модель + LLM-судья + проверки по правилам). Обнаруживать и ограничивать reward hacking с помощью KL-контроля и ансамблей наград.</li><li>Запускать best-of-N сэмплирование и реранкинг как сильный baseline.</li><li>Обучать на одном узле из 8× H100 80GB GPU с DeepSpeed ZeRO-3 или FSDP.</li><li>Прототипировать на меньших моделях, затем масштабировать до MoE-модели 100B+.</li></ul><p><strong>Оценка</strong></p><ul><li>Проектировать офлайн-оценку сгенерированных ответов, когда gold-ответа не существует.</li><li>Создавать рубрики LLM-as-judge: релевантность, эмпатия, ясность, фактическая точность, комплаенс и то, насколько легко ответ произнести вслух.</li><li>Использовать попарное сравнение с перестановкой позиций. Калибровать судей по экспертным меткам.</li><li>Измерять согласованность между судьями и экспертами (каппа Коэна, альфа Криппендорфа).</li><li>Оценивать бизнес-эффект по историческим данным с помощью причинно-следственных методов. Контролировать навык агента, канал и сегмент клиентов.</li><li>Представлять результаты с бутстрап-доверительными интервалами, по временным окнам и срезам данных.</li><li>Проводить аблации: входной контекст, summary vs полный транскрипт, профиль клиента включён vs выключен.</li><li>Проверять фактическую точность и комплаенс. Помечать выдуманные сборы, условия или числа.</li></ul><p><strong>Сотрудничество</strong></p><ul><li>Тесно работать с AI Solution Architect, другим data scientist и ML-командами клиента.</li><li>Чётко представлять эксперименты и результаты техническим и бизнес-стейкхолдерам.</li></ul><p>Ожидается, что вы будете глубоко вовлечены в работу с данными, обучение и оценку.</p><h3>Зона ответственности</h3><ul><li>Отвечать за качество данных для обучения и оценки.</li><li>Отвечать за измеримую, стабильную систему оценки, которой доверяет клиент.</li><li>Поставлять улучшенные веса моделей, которые превосходят текущую SFT-модель и baseline best-of-N.</li><li>Документировать каждый эксперимент: настройку, данные, метрики и решения.</li></ul><h3>Что вы должны принести с собой</h3><p><strong>Обязательные требования</strong></p><ul><li>5+ лет практического опыта в ML или NLP. Как минимум 2 года с LLM.</li><li>Сильный Python. Чистый, протестированный, воспроизводимый код.</li><li>Практический опыт fine-tuning открытых LLM с 7B параметров и более (например, Llama, Qwen, Mistral, GPT-OSS).</li><li>Практический опыт с SFT и как минимум одним методом предпочтений (DPO, KTO, ORPO или аналогичным).</li><li>Опыт обучения на нескольких GPU с DeepSpeed или FSDP.</li><li>Практический опыт с Hugging Face Transformers, TRL и PEFT.</li><li>Опыт обработки больших зашумлённых текстовых датасетов (1M+ документов): очистка, дедупликация, фильтрация.</li><li>Опыт построения супервизии из слабых, зашумлённых или неполных меток.</li><li>Опыт оценки генеративных моделей без gold-меток (LLM-as-judge, человеческая оценка, попарное сравнение).</li><li>Сильная статистика: доверительные интервалы, проверка значимости, смещение и конфаундинг.</li><li>Систематический анализ ошибок и структурированный дизайн экспериментов.</li><li>Чёткая коммуникация с техническими командами и доменными экспертами.</li></ul><p><strong>Будет плюсом</strong></p><ul><li>RL для LLM: GRPO, PPO, RLHF или RLAIF. Reward modeling.</li><li>Fine-tuning Mixture-of-Experts моделей или моделей 70B+ параметров.</li><li>Знание chat-шаблонов и форматов ответов (например, формат harmony GPT-OSS).</li><li>Опыт с vLLM или SGLang для крупномасштабной генерации.</li><li>Причинно-следственный вывод или uplift-моделирование на наблюдательных данных.</li><li>Разговорный AI, контакт-центры или данные звонков продаж.</li><li>Речевые и ASR-пайплайны. Работа с ошибками ASR.</li><li>Редактирование PII или работа с данными с сохранением приватности.</li><li>Домен финансовых услуг и комплаенс-ограничения.</li><li>Google Cloud (Vertex AI, BigQuery).</li><li>Публикации, вклад в open-source или публичные fine-tuned модели.</li></ul><h3>Модель работы</h3><ul><li>Формат: полная занятость, долгосрочный B2B-контракт</li><li>Локация: удалённо, базирование в ЕС</li><li>Пересечение часовых поясов: как минимум 4 рабочих часа с командой в Нью-Йорке</li><li>Инфраструктура: только среда клиента. Никакого внешнего обучения или обработки данных</li><li>Резидентность данных: вся работа остаётся в периметре клиента</li><li>Режим поставки: сначала офлайн-улучшение модели, затем контролируемый live-пилот и эволюция в продакшене</li></ul> <div> <a href="https://jobs.dou.ua/companies/xenoss/vacancies/375846/#reply-btn-id">Откликнуться на вакансию</a> </div>