24 3 нед. назад

Senior LLM Engineer

Вакансия для опытного инженера, который будет заниматься проектированием и доведением до качества LLM/ML пайплайнов. Требуется уверенное знание Python и опыт интеграции LLM в продакшен. Ожидается работа с высокими ставками и контроль метрик качества.

senior
Опубликовано
30 декабря 2025
Вакансии в Telegram-канале
Свежие вакансии Каждый день
Подписаться

описание

Навыки: LLM, Python. Квалификация: Senior. Специализации: ML разработчик. Ищем сильного **Senior LLM Engineer**, который умеет проектировать **масштабируемые LLM/ML‑пайплайны под речевую аналитику end‑to‑end**: от ASR до извлечения событий/инсайтов, с контролем качества и себестоимости. Масштаб: десятки тысяч звонков в день. **Важно: роль hands‑on, с ответственностью за метрики качества/стоимости в проде,** а не только за текст промптов. Что нужно уметь: **1) Проектировать пайплайн:** разделение на этапы пайплайна и интерфейсы между ними (контракты вход/выход, форматы, версии); чёткое разделение детерминированных шагов и LLM‑вычислений; построение каскадов критериев и гейтов (быстрые дешёвые проверки → LLM только когда нужно); воспроизводимость (конфиги, версии, трассировка). **2) Доводить качество:** эталонный датасет, автоматические evals и регрессионные тесты; работа с precision/recall (FN/FP), разбор ошибок “по корзинам”; системные итерации промптов/декомпозиции до целевых метрик; удержание баланса точность/стоимость/скорость (в т.ч. через ограничение контекста и число вызовов). **3) Работать с High‑stakes сценариями:** пороги и подтверждения, fail‑safe поведение, human‑in‑the‑loop, логирование и аудит (трассировка входов/выходов/версий), контроль рисков и регрессий. Ожидаем: уверенный **Python + опыт интеграции LLM** в прод (API, очереди, логи). Плюсом будет: **RAG** и **tool‑calling**, опыт продакшн‑**мониторинга качества и стоимости**. **Результат работы:** - Design doc пайплайна + интерфейсы/контракты между этапами - Промпты + Eval + golden set + регрессионные тесты - Мониторинг качества/стоимости в проде (дашборды/алерты/разбор инцидентов) Для кандидатов предусмотрен оплачиваемый этап с 2 тестовыми заданиями не больше 3-4 часов суммарно: 1 архитектурное, 1 hands on

Похожие вакансии

6 вакансии
Simplenight
Simplenight
1 д. назад

Fullstack Developer

Вакансия для Senior Fullstack Developer в Алматы. Основные задачи включают разработку высоконагруженных сервисов и интеграци…

4 000 - 6 000 USD

senior гибрид Almaty
Транстелеком
Транстелеком
1 д. назад

Senior Backend разработчик

Ищем технического лидера с опытом backend-разработки более 6 лет. Основные задачи включают пр…

lead Астана
Транстелеком
Транстелеком
1 д. назад

Middle Fullstack разработчик

Ищем разработчика с опытом 3-5 лет в области fullstack разработки. Основные технологии: Python (Fas…

middle Астана
Алми Партнер
Алми Партнер
16 ч. назад

Backend-разработчик

Вам предстоит разрабатывать и оптимизировать бэкенд системы, участвовать в проектировании архитектуры и управлять ко…

senior удалённо
Social Links
Social Links
1 д. назад

Старший Python разработчик (Сбор данных / Веб-скрейпинг)

Вакансия для старшего Python разработчика в компании Social Links, занимающейся сбором и анализом данных. Идеальный кандидат должен иметь оп…

senior удалённо
SSP SOFT
SSP SOFT
1 д. назад

Python разработчик

Вакансия для опытного Python разработчика с минимум 5-летним опытом. Вам предстоит разрабатывать backend-сервисы и REST …

senior удалённо