Старший Data Engineer

Что предстоит делать

<p>О Zoral.</p><p>Zoral — это IT-компания, занимающаяся продуктами и профессиональными услугами для банков, страховых компаний, управляющих активами и финтех-компаний. Наряду со своим флагманским продуктом Zoral fOS (Financial Operating System), Zoral реализует программы в области данных, аналитики и AI для регулируемых финансовых организаций в Европе, Великобритании, США и Азии.</p><p>О роли.</p><p>Мы ищем Senior Data Engineer для оценки и построения корпоративных платформ данных на Azure Databricks для регулируемых клиентов из сферы финансовых услуг. Типичные платформы объединяют десятки источников данных (базы данных, файлы и API) и миллионы записей о клиентах и полисах, а также питают несколько сотен отчётов. Вы проводите обзор существующих озёр данных и пайплайнов, профилируете и измеряете качество данных, доказываете подходы к очистке и сопоставлению клиентов на реальных данных, а затем строите и руководите построением продакшн-пайплайнов.</p><p>Обязанности</p><p>Проводить обзор существующего озера данных, его пайплайнов, заданий, notebook'ов и кода в том виде, в котором они развёрнуты; оценивать качество кода, эксплуатационную пригодность, практику тестирования и развёртывания.<br>Формировать инвентаризацию источников, потоков данных, сущностей, ключей, объёмов и паттернов обновления.<br>Профилировать данные в масштабе и устанавливать базовый уровень качества данных (полнота, достоверность, согласованность, уникальность, своевременность); предлагать набор кандидатных правил качества данных.<br>Проектировать и строить пайплайны приёма данных (batch, change-data capture, файлы, API) и преобразования в рамках многослойных архитектур, включая интеграционные слои Data Vault 2.0 и размерные модели Kimball.<br>Реализовывать очистку и стандартизацию данных, дедупликацию и сопоставление клиентов (entity resolution), а также строить proof of concept на выборке данных с измеренными precision и recall.<br>Реализовывать правила качества данных как код: quality gates, карантин неуспешных записей, мониторинг и сверку выходных данных с итогами источников; фиксировать информацию об аудите и lineage для каждого запуска.<br>Строить идемпотентные, перезапускаемые и тестируемые пайплайны с автоматизированными тестами и развёртыванием через CI/CD.<br>Проводить ревью работы других инженеров, работать в паре с инженерами клиента и документировать runbook'и и материалы для передачи.</p><p>Требования</p><p><br>6+ лет в data engineering, включая как минимум три года работы с Databricks в продакшне.<br>Экспертный SQL и уверенный Python с PySpark.<br>Практический опыт с Delta Lake, Unity Catalog, Lakeflow Declarative Pipelines (ранее Delta Live Tables) и Lakeflow Jobs (ранее Workflows), Auto Loader и Azure Data Factory.<br>Моделирование данных: Data Vault 2.0 и размерное моделирование, slowly changing dimensions, история и данные на определённый момент времени (as-at data).<br>Профилирование данных, проектирование правил качества данных и фреймворки качества (pipeline expectations, Great Expectations, Soda или аналогичные).<br>Как минимум один реализованный проект по entity resolution или дедупликации на клиентских данных (Splink, Zingg, Dedupe или коммерческий master-data инструмент), включая оценку качества сопоставления.<br>Git, code review, CI/CD и автоматизированное тестирование пайплайнов данных.<br>Опыт миграции пайплайнов и данных с legacy-платформ, включая сверку.<br>Хороший письменный и устный английский; готовность работать на площадке клиента (в том числе в Великобритании) в течение нескольких недель.</p><p>Будет плюсом</p><p><br>Databricks Asset Bundles, Terraform.<br>Генерация пайплайнов и моделей на основе метаданных.<br>Семантические модели Power BI и Databricks SQL.<br>Стандартизация адресов и имён; работа с персональными данными в условиях маскирования и псевдонимизации.<br>Опыт в банковской сфере, страховании или управлении активами.<br>Сертификация Databricks Data Engineer Professional.</p><p>Технологический стек:</p><p>Azure Databricks (Unity Catalog, Delta Lake, Lakeflow Declarative Pipelines, Lakeflow Jobs, Lakeflow Connect, Auto Loader, Databricks SQL), Azure Data Lake Storage, Azure Data Factory, SQL, Python/PySpark, Splink или аналогичный, Great Expectations или Soda, Git, Azure DevOps или GitHub Actions, Terraform, Power BI.<br><br></p><p>Условия.</p><p>Работа с клиентами в регулируемой сфере финансовых услуг требует предварительной проверки перед назначением (проверка личности, права на работу, трудовой истории, судимости, кредитной истории и санкционных списков — по стандарту, указанному клиентом) и соблюдения политик Zoral в области информационной безопасности и защиты данных.</p> <div> <a href="https://jobs.dou.ua/companies/zoral/vacancies/375366/#reply-btn-id">Откликнуться на вакансию</a> </div>