DevOps инженер (Self-hosted AI inference platform)

Что предстоит делать

<p><strong>Роль в одном предложении</strong></p><p>Создание и эксплуатация self-hosted платформы для AI-инференса — Kubernetes, инфраструктура на NVIDIA H100, vLLM, observability, GitOps и надежность продакшена.</p><p><strong>Контекст</strong></p><p>Мы создаем self-hosted платформу для LLM-инференса, работающую на <strong>GPU NVIDIA H100</strong> и bare-metal Kubernetes. Платформа предоставляет vLLM inference-воркеры и OpenAI-совместимый API для внутренних сервисов.</p><p>Управляемого облачного слоя Kubernetes нет — инженер будет работать напрямую с инфраструктурой и владеть платформой от начальной загрузки кластера до производственной эксплуатации.</p><p><strong>Над чем вы будете работать</strong></p><ul><li>Начальная загрузка и поддержка self-hosted кластеров Kubernetes с HA control plane, резервным копированием/восстановлением etcd и обновлениями.</li><li>Настройка и поддержка инфраструктуры NVIDIA GPU, включая GPU Operator, DCGM и стек CUDA/container runtime.</li><li>Настройка разделения и планирования GPU с использованием MPS или time-slicing.</li><li>Развертывание и эксплуатация vLLM inference-воркеров с rolling-обновлениями без даунтайма и корректным завершением соединений.</li><li>Создание мониторинга и алертинга Prometheus/Grafana для SLI инференса, таких как TTFT, глубина очереди, использование KV-cache и уровень отклонений.</li><li>Реализация IaC для bare-metal provisioning и начальной загрузки кластера с использованием Terraform или Pulumi.</li><li>Настройка GitOps-процессов с ArgoCD или Flux для контролируемых раскаток и откатов.</li><li>Настройка API Gateway, token-aware rate limiting, NetworkPolicy и mTLS.</li><li>Создание автоматизации и runbook для производственных инцидентов, связанных с GPU.</li></ul><p><strong>Обязательные требования</strong></p><ul><li><strong>5+ лет в DevOps, Platform Engineering или SRE</strong> с продакшен-Kubernetes.</li><li>Практический опыт работы с <strong>self-hosted Kubernetes</strong> (kubeadm, RKE2 или k3s), включая начальную загрузку, обновления, etcd и HA.</li><li>Практический опыт работы с <strong>NVIDIA GPU в Kubernetes</strong>, GPU Operator/Device Plugin и стеком драйверов CUDA.</li><li>Глубокое понимание разделения и планирования GPU: MPS, time-slicing и многопроцессные нагрузки.</li><li>Сильные навыки администрирования Linux/систем, включая NUMA, huge pages, управление CPU и устранение неполадок на bare-metal.</li><li>Опыт развертывания долгоиграющих или stateful-нагрузок без даунтайма.</li><li>Сильные навыки работы с Prometheus и Grafana, включая recording и alerting rules.</li><li>Опыт работы с <strong>Terraform или Pulumi</strong>.</li><li>Написание скриптов на Bash/Python для автоматизации, проверок здоровья и мониторинга.</li><li>Базовое понимание <strong>метрик и концепций LLM-инференса</strong>: TTFT, пропускная способность токенов, KV-cache и батчинг.</li></ul><p><strong>Желательно</strong></p><ul><li>Опыт работы с <strong>vLLM, Triton Inference Server, KServe</strong> или аналогичными инструментами.</li><li>Продакшен-опыт GitOps с ArgoCD или FluxCD.</li><li>Опыт работы с Kong, Envoy, APISIX или аналогичными API-шлюзами.</li><li>Опыт работы с Vault или External Secrets Operator.</li><li>Сертификаты CKA, CKS или NVIDIA.</li><li>Опыт бенчмаркинга GPU-нагрузок при смешанной модельной нагрузке.</li></ul><p><strong>Технологический стек, с которым вы будете работать</strong></p><p>Kubernetes, NVIDIA H100, NVIDIA GPU Operator, DCGM, CUDA, containerd, vLLM · Prometheus, Grafana · Terraform / Pulumi · ArgoCD / Flux · Linux, Bash, Python · API Gateway, NetworkPolicy, mTLS · Docker, Git, CI/CD.</p><p><strong>Формат работы</strong></p><ul><li>Удаленная распределенная инженерная команда.</li><li>Среда, ориентированная на продакшен, с владением инфраструктурой и стеком инференса.</li><li>Роль предполагает создание платформы с нуля и поддержание ее надежности в продакшене.</li></ul><p><strong>Важно: </strong>Поскольку это проект, базирующийся в Германии, мы в первую очередь ищем кандидатов в Западной Украине, при этом Винница и Львов являются нашими предпочтительными локациями. Другие безопасные западные регионы могут рассматриваться в индивидуальном порядке.</p> <div> <a href="https://jobs.dou.ua/companies/xcubator/vacancies/372402/#reply-btn-id">Откликнуться на вакансию</a> </div>