Старший DevOps и Platform инженер

Что предстоит делать

<p><b>О Zoral. </b>Zoral — это IT-компания, занимающаяся продуктами и профессиональными услугами, которая обслуживает банки, страховые компании, управляющих активами и финтех-компании. Помимо своего флагманского продукта Zoral fOS (Financial Operating System), Zoral реализует программы в области данных, аналитики и AI для регулируемых финансовых организаций в Европе, Великобритании, США и Азии.</p><p><b>О роли. </b>Мы ищем Senior DevOps and Platform Engineer, который будет создавать, обеспечивать безопасность и эксплуатировать фундамент корпоративных платформ данных на Azure Databricks для регулируемых клиентов из финансового сектора. Типичные программы превращают существующий data lake в управляемую платформу данных промышленного уровня: десятки исходных систем, миллионы клиентских записей, несколько сотен регуляторных, управленческих и операционных отчётов, а поставка ведётся вертикальными срезами для десятков команд. Вы являетесь частью общей базовой команды, которая обслуживает каждый срез: вы отвечаете за пайплайны доставки, безопасность и отказоустойчивость платформы, управление затратами и алертинг, а также обеспечиваете чистую изоляцию новой платформы от legacy-озера, пока обе работают параллельно. Это удалённая роль с базированием в Европе, с возможными поездками к клиенту для воркшопов и ключевых этапов.</p><h3>Обязанности</h3><p>· Создавать фундамент платформы как код с помощью Terraform: workspaces, metastore Unity Catalog и один каталог на среду (development, test, production, при этом production изолирован от non-production), хранилища, идентичности и разрешения.</p><p>· Реализовать маршрут CI/CD до production для продуктов данных с помощью Declarative Automation Bundles (ранее Databricks Asset Bundles) и Azure DevOps или GitHub Actions: каждое изменение пайплайна, правила, семантической модели и отчёта проходит ревью, тестирование и продвижение по средам.</p><p>· Реализовывать бэклог платформы совместно с Head of Data Platform: миграция с Hive metastore на Unity Catalog, высокая доступность и аварийное восстановление, привилегированный доступ по требованию, маскирование персональных данных и устранение находок пентестов.</p><p>· Настроить observability: метрики запусков, свежесть данных, результаты качества и затраты из системных таблиц Databricks; события аудита через диагностические настройки Azure Monitor; алерты о заданиях, quality-gate и свежести данных в ServiceNow и Teams со ссылками на runbook; service-level objectives для критичных активов.</p><p>· Вести управление затратами (FinOps): политики вычислений, job и serverless compute, отдельные SQL warehouses для критичной отчётности, self-service и data science, бюджеты с алертами, политики использования и системные таблицы биллинга как источник истины.</p><p>· Поддерживать развёртывание Power BI и планирование мощностей совместно с инженерами Power BI; в дальнейшем расширить тот же пайплайн на MLOps (отслеживание экспериментов, реестр моделей, serving endpoints).</p><p>· Настраивать и эксплуатировать платформенные контроли для AI-сервисов и AI-ассистированной доставки, включая безопасный доступ к моделям, разрешения, логирование и контроли развёртывания.</p><h3>Требования</h3><p>· Пять и более лет в DevOps, платформенной или облачной инженерии, включая сильный опыт эксплуатации Azure Databricks в production.</p><p>· Сильный Terraform с провайдерами AzureRM и Databricks: модули, управление состоянием, код-ревью и многосредовые схемы.</p><p>· Практический опыт администрирования Databricks: workspaces, Unity Catalog (metastore, каталоги, гранты, service principals, системные таблицы), политики вычислений, задания и секреты.</p><p>· CI/CD для платформ данных в Azure DevOps или GitHub Actions, включая автоматизированные тесты, проверки качества и безопасности, согласования и продвижение между средами.</p><p>· Сетевое взаимодействие и идентичность в Azure: VNet injection, Private Link и private DNS, Entra ID, managed identities и service principals, Key Vault, управление доступом на основе ролей.</p><p>· Мониторинг и интеграция с инцидент-менеджментом: Azure Monitor и Log Analytics, маршрутизация алертов в ITSM-инструмент, такой как ServiceNow.</p><p>· Практический опыт проектирования аварийного восстановления и резервного копирования для облачных платформ данных, включая recovery point и recovery time objectives.</p><p>· Уверенные навыки Linux (командная строка, устранение неполадок, self-hosted build agents, cluster init scripts); скриптинг на Python, PowerShell или Bash; Git.</p><p>· Понимание безопасности и комплаенса в регулируемых средах: наименьшие привилегии, шифрование, разделение обязанностей, контроль изменений, аудиторские следы и GDPR.</p><p>· Понимание того, как безопасно запускать AI-нагрузки и AI-ассистированную разработку: model endpoints, контроль доступа, логирование и аудит, а также контроли изменений, сгенерированных AI.</p><p>· Хороший письменный и разговорный английский.</p><h3>Будет плюсом</h3><p>· Policy as code (Azure Policy или Open Policy Agent) и сканирование безопасности инфраструктурного кода.</p><p>· MLOps на Databricks (MLflow, model serving).</p><p>· Microsoft Certified: DevOps Engineer Expert или Azure Administrator Associate, HashiCorp Certified: Terraform Associate; аккредитация Databricks Platform Administrator.</p><p>· Опыт миграции с Hive metastore на Unity Catalog (например, с UCX или SYNC).</p><p>· Entra Privileged Identity Management и профиль безопасности комплаенса Databricks.</p><p>· Администрирование Power BI, планирование мощностей и автоматизация развёртывания.</p><p>· Databricks FinOps: бюджеты, политики использования serverless, системные таблицы биллинга.</p> <p><b>Технологический стек: </b>Microsoft Azure (Entra ID и Privileged Identity Management, Key Vault, VNet и Private Link, Azure Data Lake Storage, Azure Monitor и Log Analytics), Azure Databricks (Unity Catalog, системные таблицы, Lakeflow Jobs, Databricks SQL, профиль безопасности комплаенса), Terraform, Declarative Automation Bundles, Azure DevOps или GitHub Actions, Git, Python, PowerShell или Bash, ServiceNow, Power BI.</p> <div> <a href="https://jobs.dou.ua/companies/zoral/vacancies/377281/#reply-btn-id">Откликнуться на вакансию</a> </div>