Инженер технической поддержки ML-платформы

Что предстоит делать

Навыки: Kubernetes, Prometheus, Grafana. Квалификация: Middle. Специализации: Инженер технической поддержки. ## ## О компании и команде Мы набираем IT специалистов в большую команду для работы на проектах для крупного и динамичного российского банка. Команда будет занимать разработкой инструментов и процессов для реализации единой платформы для разработки, развертывания и эксплуатации решений на основе LLM, а так же агентской платформы для работы с ИИ-агентами. Проект направлен на создание единой технологической платформы для разработки, развертывания и эксплуатации решений на основе больших языковых моделей с использованием инфраструктуры АС «Суперкомпьютер». Ключевая задача - переход от точечных пилотов к промышленному внедрению ИИ с централизацией управления безопасностью, качеством и стоимостью, а также настроить приоритизацию клиентских запросов. Архитектура платформы четырехуровневая: инфраструктурный слой (GPU-кластер), слой оркестрации и LLMOps, слой знаний (RAG), агентская платформа. ## Задачи Поддержка ML-платформы и Kubernetes (Основной фокус): • Эксплуатация платформы: o Мониторинг состояния сервисов инференса в Kubernetes (доступность подов, потребление ресурсов, перезапуски). o Диагностика проблем с запуском контейнеров моделей (ошибки инициализации, нехватка памяти, проблемы с зависимостями). • Мониторинг и инциденты: o Настройка дашбордов для отслеживания метрик качества сервисов; o Первичная реакция на инциденты: сбор логов, анализ трассировок, эскалация разработчикам (L3) при невозможности устранения в течение 15-30 минут; o Анализ причин деградации производительности моделей (дрейф данных, проблемы инфраструктуры); • Поддержка пользователей (Data Scientists / Разработчики): o Консультирование по использованию API платформы для деплоя и управления моделями; o Обучение работе с инструментами платформы (CLI, SDK, веб-интерфейс); o Создание инструкций и FAQ по типовым задачам развертывания; • Безопасность и доступы: o Управление доступом к функциям платформы согласно политикам безопасности; o Контроль соблюдения регламентов при работе с данными; Поддержка векторной БД Milvus (Опционально ): • Управление доступом: o Создание баз данных и ролей в Milvus и назначение прав; • Мониторинг Milvus: o Поддержка дашбордов Grafana для векторной БД (метрики: задержка поиска, загрузка CPU узлов query, использование диска, статус лидера etcd, отставание Kafka); o Реагирование на алерты (критические: остановка узлов, потеря лидера etcd, место на диске < 10%; предупреждения: задержка поиска > 5с, лаг Kafka > 1000). ## Ожидания от кандидата - Опыт использования Kubernetes (диагностика подов, работа с kubectl, понимание networking и storage); - Понимание принципов работы ML-моделей (инференс, API моделей, форматы данных); - Опыт настройки мониторинга и алертинга (Prometheus, Grafana, ELK); - Навыки скриптования (Python/Bash) для автоматизации рутинных задач; - Умение работать с пользователями и писать техническую документацию. ## Условия работы - Официальное трудоустройство по ТК РФ в аккредитованную IT компанию, белая заработная плата; - Удаленная формат работы; - ДМС после испытательного срока - И многое другое.