Инженер по надежности ИИ (AI Reliability Engineer)

Что предстоит делать

<p>Практика Operational Intelligence в EPAM создает новое направление: AI Reliability Engineering (AIRE) — применение принципов SRE и cloud-native практик к жизненному циклу production AI/ML и LLM систем. Когда клиенты переводят GenAI-приложения и агентные системы из пилота в продакшн, они обнаруживают, что классический APM ничего не говорит им о задержке токенов, стоимости запроса, семантическом дрейфе или галлюцинациях. Именно этот пробел закрывает данная роль.</p><p>Вы будете инструментировать, мониторить и укреплять production AI-системы, определять AI-нативные цели уровня обслуживания и создавать акселераторы и эталонные архитектуры, которые наша практика переиспользует в проектах. Это инженерная роль, а не поддержка L1/L2 — без круглосуточных дежурств.</p><p><strong>Что вы получите</strong></p><ul><li>По-настоящему новое направление внутри EPAM — вы определяете, как оно работает, а не следуете существующему регламенту</li><li>Инженерный фокус без круглосуточных дежурств</li><li>Оплачиваемые сертификации и программы обучения (Anthropic/Claude, Databricks, AI &amp; Data Observability учебные треки)</li><li>Работа с разными клиентами и прямой путь в пресейл и решение инженерных задач</li></ul><p><strong>Обратите внимание: эта роль поддерживает удаленную работу, но только из Украины.</strong></p><p><strong>Обязанности</strong></p><ul><li>Инструментировать production LLM, RAG и агентные приложения с помощью AI-телеметрии на основе OpenTelemetry и APM-нативного AI-мониторинга</li><li>Внедрять распределенную трассировку в мультимодельных цепочках, агентных рабочих процессах и пайплайнах retrieval-augmented generation для профилирования системных задержек и точек отказа</li><li>Определять и измерять AI-нативные SLI и SLO: время до первого токена (TTFT), пропускную способность, частоту ошибок и отказов, стоимость запроса, семантический дрейф, границы галлюцинаций, контекстуальную точность</li><li>Настраивать структурированное семантическое логирование и мониторинг промптов/ответов для анализа качества</li><li>Создавать и запускать циклы оценки качества и безопасности выходных данных — golden sets, LLM-as-a-judge, фреймворки в стиле Ragas/DeepEval — и интегрировать их в CI/CD и рантайм</li><li>Отслеживать облачные расходы на основе токенов, лимиты скорости API моделей и потребление квот; управлять оптимизацией затрат на AI</li><li>Настраивать AI-шлюзы для балансировки нагрузки API, отказоустойчивости и fallback-моделей у нескольких LLM-провайдеров</li><li>Внедрять защитные механизмы: фильтрацию prompt injection и jailbreak, соответствие выходных данных, ограничения по предвзятости и безопасности</li><li>Проектировать рабочие процессы обнаружения, триажа, восстановления и управления проблемами для AI-инцидентов; интегрировать автономных AI-агентов в RCA для анализа логов, формирования гипотез и корреляции изменений состояния</li><li>Поддерживать паттерны отката, canary и fail-safe для релизов моделей, промптов и конфигураций; обеспечивать воспроизводимость через версионирование данных, кода, промптов и моделей</li><li>Создавать акселераторы практики, эталонные архитектуры и внутренние обучающие материалы; поддерживать пресейл и оценку клиентов</li></ul><p><strong>Требования</strong></p><ul><li>4+ года в SRE, DevOps, платформенной или observability-инженерии, включая практическую работу с production AI/ML или LLM нагрузками</li><li>Твердые основы SRE: Golden Signals, определение SLI/SLO, error budgets и burn rate, жизненный цикл инцидентов, основы ITIL</li><li>Уверенное знание Python для инструментирования, автоматизации и инструментов оценки</li><li>Практический опыт с OpenTelemetry и как минимум одной APM/observability-платформой: New Relic, Datadog, Grafana LGTM стек, Splunk или Elastic</li><li>Практический production-опыт с как минимум одной облачной платформой (предпочтительно Azure, AWS или GCP) и Kubernetes</li><li>Рабочее понимание архитектуры LLM-приложений: промпты, эмбеддинги и векторные базы данных, RAG, оркестрация агентов (LangChain / LangGraph или эквивалент)</li><li>Осведомленность в MLOps: жизненный цикл моделей (обучение vs. инференс), эндпоинты моделей, контейнеризация, паттерны деплоя и отката</li><li>Infrastructure as Code с Terraform; опыт CI/CD (Azure DevOps, GitLab CI, GitHub Actions)</li><li>Английский B2+ — роль предполагает работу с клиентами и требует четкой письменной и устной технической коммуникации</li></ul><p><strong>Будет плюсом</strong></p><ul><li>Опыт с AI-специфичными observability и evaluation инструментами: Traceloop/OpenLLMetry, Langfuse, Arize Phoenix, Ragas, DeepEval, MLflow</li><li>Распределенный инференс в масштабе: vLLM, KServe, Ray Serve, Kubernetes-нативная LLM-оркестрация, планирование мощностей GPU</li><li>AI-безопасность: OWASP LLM Top 10, защита от prompt injection, фреймворки guardrails (NeMo Guardrails, Llama Guard)</li><li>Опыт с Databricks (включая Mosaic AI / MLflow) или Azure AI Foundry</li><li>Сертификации: Anthropic Claude, Azure AI Engineer, AWS ML Specialty, Databricks GenAI</li><li>FinOps для AI-нагрузок — моделирование затрат на токены и GPU</li><li>Опыт в Data Reliability Engineering (качество данных, SLO пайплайнов) — надежность AI начинается с надежности данных</li><li>Опыт менторства или руководства командой</li></ul><p><strong>Мы предлагаем/Преимущества</strong></p><p><strong>С нами вы можете:</strong></p><ul><li>Работать по гибкому графику удаленно или из любого нашего комфортного офиса или коворкинга в Украине</li><li>Получить необходимое оборудование для выполнения рабочих задач</li><li>Менять проекты и технологические стеки внутри EPAM</li><li>Получить опыт в различных бизнес-доменах (Страхование, E-commerce, Здравоохранение, Финансы, Путешествия, Медиа, Искусственный интеллект и другие)</li><li>Возможности релокации могут быть доступны для подходящих кандидатов в зависимости от роли и открытых позиций в других локациях EPAM</li><li>Участвовать в волонтерских, благотворительных программах и сообществах (как технических, так и по интересам)</li></ul><p><strong>Мы фокусируемся на вашем профессиональном росте:</strong></p><ul><li>Вы можете планировать свой индивидуальный карьерный путь вместе с вашим менеджером</li><li>Получать регулярную обратную связь от коллег</li><li>Бесплатно улучшать свой английский с сертифицированными преподавателями (разговорные клубы, курсы подготовки к собеседованиям с клиентами и т.д.)</li><li>Получить возможность бесплатного обучения и сертификации в AWS, GCP или Azure Clouds</li><li>Использовать внутреннюю программу обучения E-learn (18 200+ специализированных тренингов и менторских программ)</li><li>Доступ к корпоративным аккаунтам на LinkedIn Learning, Get Abstract и других партнерских ресурсах</li><li>Учиться в EPAM Solution Architecture School с преподавателями, которые являются практикующими архитекторами</li><li>Развиваться как лидер, присоединяться к Delivery Management, Resource Management, Leadership Essentials school и другим программам</li><li>Участвовать во внутренних сообществах (500+ митапов, технических дискуссий, мозговых штурмов, онлайн-мероприятий и конференций ежегодно)</li></ul><p><strong>Что мы предлагаем:</strong></p><ul><li>Отпуск и больничные (включая больничный без медицинской справки)</li><li>Широкий спектр программ добровольного медицинского страхования, покрывающих как медицинское лечение, так и различные профилактические опции (включая спортивные активности)</li><li>Медицинская страховка для членов семьи по корпоративным тарифам</li><li>Поддержка компании в значимые жизненные события (рождение или усыновление ребенка, бракосочетание и т.д.)</li><li>Поддержка психологического комфорта: скидки на услуги специалистов по психическому здоровью или коучей, тематические тренинги</li><li>Программа E-kids — бесплатная программа обучения языкам программирования для детей сотрудников EPAM</li></ul><p>Обратите внимание, что набор льгот, включая обучение, сертификацию и другие возможности, может варьироваться в зависимости от роли, на которую вы претендуете. Наш рекрутер сможет предоставить более подробную информацию о конкретной возможности во время вашего общего собеседования.</p><p><strong>О КОМПАНИИ EPAM</strong></p><p>EPAM стремится предоставить своей глобальной команде из более чем 62 350 профессионалов в более чем 55 странах возможности для профессионального роста с первого дня сотрудничества. Наши коллеги — источник успеха EPAM, поэтому мы ценим сотрудничество, стремимся всегда понимать бизнес наших клиентов и нацелены на высочайшие стандарты качества. Где бы вы ни находились, вы присоединитесь к целеустремленному, разнообразному сообществу, которое поможет вам полностью реализовать свой потенциал.</p> <div> <a href="https://jobs.dou.ua/companies/epam-systems/vacancies/370843/#reply-btn-id">Откликнуться на вакансию</a> </div>