Data Architect / Старший Data Engineer

Что предстоит делать

<h3>О Zoral</h3><p>Zoral — это IT-компания, занимающаяся продуктами и профессиональными услугами для банков, страховых компаний, управляющих активами и финтех-компаний. Помимо своего флагманского продукта Zoral fOS (Financial Operating System), Zoral реализует программы в области данных, аналитики и AI для регулируемых финансовых организаций в Европе, Великобритании, США и Азии.</p><h3>О роли</h3><p>Мы ищем Data Architect / Senior Data Engineer, который будет определять целевую архитектуру, а также активно проектировать, разрабатывать и внедрять корпоративные платформы данных на Azure Databricks для регулируемых клиентов из сферы финансовых услуг. Типичные платформы объединяют десятки систем-источников и миллионы записей о клиентах и полисах, поддерживают несколько сотен регуляторных, управленческих и операционных отчётов и реализуются растущими многопрофильными командами, состоящими из data-инженеров, архитекторов, аналитиков и специалистов по работе с клиентами.</p><p>Это практическая роль в области архитектуры и инженерии в составе коллаборативной команды внедрения. Вы будете оценивать существующий ландшафт данных клиента, помогать уточнять целевую архитектуру, устанавливать стандарты моделирования и инженерии, а также выступать в качестве старшего технического авторитета на протяжении всего процесса внедрения. Вы будете тесно сотрудничать с другими архитекторами и инженерами, обеспечивая руководство, проверяя проектные решения и поддерживая реализацию, а не работая как обособленный архитектор.</p><p>В то же время вы останетесь близки к инженерной работе: разработка логики трансформации и моделей данных, профилирование и очистка данных, внедрение контролей качества данных и участие в production-инженерии там, где ваш опыт окажет наибольшее влияние. Успешный кандидат должен комфортно переключаться между архитектурой, техническим лидерством и практической реализацией, помогая более широкой команде эффективно выполнять работу.</p><h3>Требования</h3><p>· Восемь или более лет в области архитектуры данных и/или старшей data-инженерии с существенной практической ответственностью за внедрение, включая как минимум три года проектирования и разработки платформ Databricks в production.</p><p>· Подтверждённая способность работать одновременно как архитектор и как старший инженер в составе команды внедрения: определять целевые проектные решения и стандарты, направлять других инженеров и реализовывать или существенно вносить вклад в pipelines, трансформации и модели данных.</p><p>· Опыт технического лидерства в многопрофильных командах по работе с данными, включая проверку проектных решений, менторство, инженерные стандарты и коллаборативное внедрение.</p><p>· Экспертный уровень SQL и сильные навыки Python/PySpark с опытом разработки, тестирования, оптимизации и поддержки production-трансформаций данных.</p><p>· Практическое знание Azure Databricks, включая управление Unity Catalog (grants, row filters, column masks, tags и lineage), Delta Lake, Lakeflow Declarative Pipelines, Lakeflow Jobs и Lakeflow Connect.</p><p>· Подтверждённый опыт проектирования и разработки многоуровневых lakehouse или data-warehouse архитектур с использованием Data Vault 2.0 и размерного моделирования Kimball, включая slowly changing history и as-at data.</p><p>· Опыт определения и внедрения стратегий качества и очистки данных, включая профилирование, проектирование правил, quality gates, мониторинг, scorecards, карантин, устранение проблем и контроли сверки.</p><p>· Опыт работы с master data management, сопоставлением клиентов, дедупликацией или entity resolution.</p><p>· Опыт миграции данных, pipelines и моделей из legacy-хранилищ или lakes, включая сосуществование, сверку, параллельную работу и вывод из эксплуатации.</p><p>· Практический опыт работы с Git, code review, автоматизированным тестированием, CI/CD и production-поддержкой pipelines данных.</p><p>· Способность писать понятную архитектурную и инженерную документацию и представлять технические решения старшим стейкхолдерам.</p><p>· Отличный письменный и устный английский; готовность работать на площадке клиента, в том числе в Великобритании, в течение нескольких недель.</p><h3>Будет плюсом</h3><p>· Опыт в сфере финансовых услуг, особенно в банковском деле, страховании, управлении благосостоянием или активами, на рынках капитала или в трейдинге, с пониманием финансовых данных, инструментов, транзакций, позиций, оценок, рисков, регуляторной или управленческой отчётности.</p><p>· Azure networking и identity для Databricks, включая Private Link, Entra ID, Key Vault и customer-managed keys.</p><p>· Infrastructure as code с использованием Terraform и деплой с помощью Databricks Asset Bundles.</p><p>· Стандарты семантических моделей Power BI, Databricks SQL и Microsoft Purview.</p><p>· Автоматизация Data Vault, разработка pipelines на основе метаданных или фреймворки генерации моделей/кода.</p><p>· Опыт работы с инструментами качества данных или entity resolution, такими как Great Expectations, Soda, Splink, Zingg, Dedupe или сопоставимыми коммерческими платформами.</p><p>· Сертификации Databricks или Azure по архитектуре/data-инженерии; CDVP2 (Data Vault 2.0).</p><h3>Технологический стек</h3><p>Azure Databricks (Unity Catalog, Delta Lake, Lakeflow Declarative Pipelines, Lakeflow Jobs, Lakeflow Connect, Auto Loader и Databricks SQL), Azure Data Lake Storage, Azure Data Factory, SQL, Python/PySpark, Data Vault 2.0, размерное моделирование Kimball, Great Expectations или Soda, Splink или аналоги, Power BI, Terraform, Git, Azure DevOps или GitHub Actions.</p> <div> <a href="https://jobs.dou.ua/companies/zoral/vacancies/375335/#reply-btn-id">Откликнуться на вакансию</a> </div>