Ведущий DevOps/MLOps инженер

Что предстоит делать

Ищем Lead DevOps/MLOps инженера в наш Data Science Department для работы с командой ML Engineering над созданием и укреплением нашей on-premises ML-платформы с поддержкой GPU. В этой роли вы поможете обеспечить одновременную, надёжную и низколатентную работу множества ML- и LLM-сценариев, масштабируя платформу для поддержки более широкой базы пользователей по всей организации. Откройте потенциал удалённой работы в Казахстане, получив гибкость работать из дома или посещать наши офисы в Астане, Алматы или Караганде.

• Создавать и укреплять on-premises ML-платформу с поддержкой GPU для обеспечения параллельных ML- и LLM-нагрузок
• Выявлять и устранять ежедневные узкие места по ресурсам и проблемы с задержками между конкурирующими production- и development-сценариями
• Развёртывать и поддерживать NVIDIA GPU Operator и управлять GPU-ресурсами в кластерах Kubernetes и OpenShift
• Внедрять стратегии совместного использования и изоляции GPU для оптимизации памяти и изоляции сбоев между нагрузками
• Масштабировать GPU-среду для удовлетворения растущих вычислительных потребностей по мере добавления новых серверов H200
• Поддерживать и улучшать платформенные сервисы, такие как MLflow и Agent Gateway
• Управлять пайплайнами мониторинга с использованием NVIDIA DCGM exporter, Prometheus и Grafana для отслеживания загрузки и производительности GPU
• Взаимодействовать с командами Deep Learning и Traditional ML для поддержки общей инфраструктуры, включая тренировочные нагрузки на базе Ray
• Обеспечивать надёжность и безопасность платформы с учётом конфиденциального и чувствительного характера данных, обрабатываемых on-premises
• Работать совместно с командой Data Analytics для поддержки внутренней агентной платформы по мере её масштабирования на более широкую базу сотрудников

Что ждём от вас

• 5+ лет опыта запуска GPU-нагрузок на Kubernetes или OpenShift в production, желательно on-premises
• Практический опыт развёртывания и устранения неполадок NVIDIA GPU Operator с чётким пониманием функции каждого компонента
• Понимание того, чем GPU отличаются от CPU как планируемого ресурса, включая ограничения памяти, семантику утилизации и ограничения планирования
• Знание методов совместного использования и изоляции GPU, таких как MIG, time-slicing и MPS, а также их компромиссов
• Прочные основы Linux, включая cgroups, namespaces, управление ресурсами systemd и управление ресурсами на уровне процессов
• Опыт работы с Prometheus, Grafana и NVIDIA DCGM, включая GPU-метрики на уровне процесса или пода
• Рабочее знание стека CUDA, включая совместимость версий драйверов, CUDA toolkit и container runtime
• Опыт развёртывания с помощью Helm и эксплуатации MLOps-инструментов, таких как MLflow и Airflow, на Kubernetes
• Будет плюсом
• Знакомство с движками обслуживания LLM, такими как vLLM, SGLang или NVIDIA Triton
• Опыт работы с Ray, KubeRay и GPU-aware планировщиками, такими как Kueue или Volcano
• Практический опыт работы с оборудованием класса H100/H200 и GitLab CI
• Мы предлагаем/Преимущества
• Мы объединяем единомышленников:
• Предоставление инновационных решений лидерам отрасли с глобальным влиянием
• Комфортная рабочая среда — будь то оживлённый офис или уют вашего собственного дома
• Возможность работать за рубежом до двух месяцев в год
• Возможности релокации в наши офисы в 55+ странах
• Корпоративные и социальные мероприятия
• Мы инвестируем в ваше развитие:
• Программы развития лидерства, карьерное консультирование, soft skills и программы благополучия
• Сертификации, включая GCP, Azure и AWS
• Неограниченный доступ к внутренней базе обучения EPAM
• Бесплатные занятия английским с сертифицированными преподавателями
• Скидки в местных языковых школах, включая онлайн-курсы казахского языка
• Мы покрываем всё:
• Участие в Employee Stock Purchase Plan
• Денежные бонусы за участие в реферальной программе
• Пакет медицинской помощи и помощи семье
• Шесть trust days в год (больничный без медицинской справки)
• Покрытие сессий с психологом на ваш выбор
• Пакет льгот (спортивные мероприятия, разнообразные магазины и услуги)
• Программа поддержки жилья: льготная ипотека через партнёрство с Otbasy Bank
• EPAM — глобальный лидер в инжиниринге AI-трансформации и интегрированном консалтинге, обслуживающий компании Forbes Global 2000 и амбициозные стартапы. Обладая более чем тридцатилетним опытом в области кастомного программного обеспечения, продуктового и платформенного инжиниринга, мы помогаем нашим клиентам становиться AI-Native предприятиями, извлекая измеримую ценность из инноваций и цифровых инвестиций.