GigaChat ML GigaChat ML
4 сегодня

Руководитель системы метрик качества GigaChat

Вакансия для опытного специалиста в области анализа данных и качества моделей. Основные обязанности включают управление метриками, анализ логов и разработку новых методов оценки. Предлагается удаленная работа с возможностью карьерного роста и хорошими условиями.

senior удалённо
Тип занятости
full-time
Опубликовано
28 февраля 2026
Языки
English: Intermediate
Вакансии в Telegram-канале
Свежие вакансии Каждый день
Подписаться
??%
Match Score
Войдите и создайте резюме
Войти

описание

Мы — команда GigaChat ML. Делаем полный цикл обучения модели, от претрейна до алайнмента. Нам нужен руководитель, который будет фултайм владеть системой метрик качества GigaChat: • Измерять качество на бенчмарках и реальных логах. • Находить слабые места и причины деградаций. • Развивать метрики и процессы, ускорять внедрение новых бенчмарков и системы замера. Эта роль про фунадментальное качество модели и измерения (не про продуктовые метрики DAU/Retention и не про сбор данных как основной фокус).
Владение системой качества и метрик (end-to-end ownership)
Определять и поддерживать “quality scorecard” для GigaChat: что считаем качеством, какие метрики ключевые, какие — нет.
Держать фокус на эффективности системы и снижать стоимость измерений.
Бенчмарки и регрессионное тестирование
Постоянно актуализировать пакет бенчмарков под ключевые сценарии, чтобы успевать за быстро развивающейся сферой LLM.
Внедрить регулярное сравнительное тестирование версий модели и конкурентов по единой.
Аналитика логов и диагностика слабых мест
Анализировать логи и пользовательский фидбэк с позиции качества: кластеризация проблем, тематические срезы, частотность, тяжесть.
Связывать проблемы в логах с бенчмарками: проблемы должны быть измеримы.
Разработка и внедрение метрик качества
Разрабатывать новые метрики/прокси метрики (автоматические и полуавтоматические), калибровать их против эталонных оценок.
Продумывать, где нужна человеческая оценка, где достаточно автоматики, как снижать стоимость измерений без потери достоверности.
Внедрять метрики в процессы: CI/релизные проверки, мониторинг качества, алерты.
Эксперименты и принятие решений
Проектировать и анализировать A/B-эксперименты качества (в онлайне и/или в контролируемых тестах), делать выводы: “что улучшилось/ухудшилось”, “почему”, “что делать дальше”, “можно ли катить в прод”.

требования

Сильный Python (pandas, NumPy), уверенная аналитика данных, умение быстро превращать «сырые логи» в выводы.
Хорошее понимание оценки качества LLM: какие типы метрик бывают, где они ломаются, как валидировать метрику, как избегать “gaming”.
Понимание статистики и экспериментов: доверительные интервалы, тесты, множественные сравнения, дизайн A/B, интерпретация результатов.
Практический опыт работы с LLM (Open Source и/или proprietary): понимание специфики инструкционного поведения, галлюцинаций, safety ограничений.
Навыки продуктового и инженерного мышления: формулировать критерии качества так, чтобы они становились механизмом управления.
Будет плюсом
Опыт построения evaluation фреймворков и “evaluation harness” (любые внутренние/внешние тулзы), интеграция оценок в CI/CD.
Опыт с LLM based evaluation (LLM judge) и методами калибровки/контроля смещения судьи.
Знание систем аналитики и хранилищ (SQL, ClickHouse/BigQuery/Spark/S3), мониторинг/дашборды (Grafana/Superset/Looker и аналоги).

условия

Удалённо
Возможность оформления в аккредитованную IT-компанию.
Годовая премия по итогам работы до 6 окладов.
Регулярный пересмотр зарплат.
Корпоративный спортзал и зоны отдыха.
Более 400 программ СберУниверситета для роста.
Программа адаптации и помощь руководителя на старте.
Крупнейшее DS&AI community — более 600 DS банка, регулярный обмен знаниями, опытом и лучшими практиками, интерактивные лекции и мастер-классы от ведущих ВУЗов и экспертов технологических компаний, дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира, регулярные внутренние митапы.
Расширенный ДМС, льготное страхование для семьи, корпоративная пенсионная программа.
Ипотека для сотрудников по дисконтной программе.
СберПрайм+ и скидки у партнёров.
Бонус за рекомендации в команду.

Похожие вакансии

6 вакансии
Крупная международная компания
Крупная международная компания
1 д. назад

Разработчик микросервисов на Python

Ищем опытного разработчика на Python с коммерческим опытом от 3 лет. Важны навыки работы с ML-фреймворками и асинхронной разработкой. Предлагаем гибкий график и работу над международными проектами.

Python

senior удал.
Ecom.tech
Ecom.tech
1 д. назад

Ведущий инженер по управлению системами хранения данных

Мы ищем опытного инженера для работы в команде ML, который будет заниматься проектированием и продуктивизацией ML сервисов. Важны навыки работы с Python и базами данных, а также опыт в деплое и поддержке сервисов.

Python · FastAPI · Apache Airflow

senior удал.
Spirit
Spirit
1 д. назад

Senior Backend (Django + FastAPI) Разработчик

Вы будете заниматься разработкой и поддержкой backend-приложений на Django и FastAPI, а также проектированием архитектуры компонентов. Компания предлагает конкурентоспособный доход, оформление по ТК РФ и возможности для карьерного роста.

FastAPI · Celery · Redis ·+11

senior удал.
АО «ОТП Банк» (JSC «OTP Bank»)
АО «ОТП Банк» (JSC «OTP Bank»)
1 д. назад

Lead QA (Трайб Data office)

Ищем проактивного лидера с опытом управления командой тестирования данных. Важны навыки в SQL и Python для автоматизации тестов. Предлагаем возможность влиять на стратегию качества данных в компании.

senior удал.
Альфа-Деньги
Альфа-Деньги
1 д. назад

Аналитик больших данных

В компании Альфа-Деньги открыта вакансия для Senior Аналитика больших данных. Работа полностью удалённая, с возможностью профессионального роста и гибким графиком. Ищем специалиста с глубокими знаниями в ML и уверенным владением Python и SQL.

senior удал.
Arizo
Arizo
2 д. назад

ML-инженер полного цикла

В этой роли вы будете заниматься разработкой и оптимизацией ML-моделей для AR-приложений. Требуется опыт от 5 лет в области Computer Vision и знание PyTorch или TensorFlow. Компания предлагает конкурентоспособную зарплату и возможность работать в международной команде.

Machine Learning · Computer Vision · AR ·+1

senior удал.
Откликнуться