Старший Data Engineer
Zoral ищет старшего Data Engineer для построения корпоративных дата-платформ на Azure Databricks для клиентов из финансового сектора. Нужен опыт 6+ лет в data engineering, минимум 3 года на Databricks в продакшене, экспертный SQL и Python/PySpark, знание Delta Lake, Unity Catalog, Data Vault 2.0 и Kimball. Работа включает проектирование пайплайнов, обеспечение качества данных, дедупликацию и матчинг клиентов, а также работу на территории клиента (включая Великобританию).
Отклик отправляется на сайте источника. Регистрация в Taylor для перехода не нужна.
Зарплата не указана — оценили по рынку
На основе 114 похожих вакансий за 90 дней по всем рынкам вместе — отдельной выборки по рынку этой вакансии нет.
Что предстоит делать
<p>О Zoral.</p><p>Zoral — это IT-компания, занимающаяся продуктами и профессиональными услугами для банков, страховых компаний, управляющих активами и финтех-компаний. Наряду со своим флагманским продуктом Zoral fOS (Financial Operating System), Zoral реализует программы в области данных, аналитики и AI для регулируемых финансовых организаций в Европе, Великобритании, США и Азии.</p><p>О роли.</p><p>Мы ищем Senior Data Engineer для оценки и построения корпоративных платформ данных на Azure Databricks для регулируемых клиентов из сферы финансовых услуг. Типичные платформы объединяют десятки источников данных (базы данных, файлы и API) и миллионы записей о клиентах и полисах, а также питают несколько сотен отчётов. Вы проводите обзор существующих озёр данных и пайплайнов, профилируете и измеряете качество данных, доказываете подходы к очистке и сопоставлению клиентов на реальных данных, а затем строите и руководите построением продакшн-пайплайнов.</p><p>Обязанности</p><p>Проводить обзор существующего озера данных, его пайплайнов, заданий, notebook'ов и кода в том виде, в котором они развёрнуты; оценивать качество кода, эксплуатационную пригодность, практику тестирования и развёртывания.<br>Формировать инвентаризацию источников, потоков данных, сущностей, ключей, объёмов и паттернов обновления.<br>Профилировать данные в масштабе и устанавливать базовый уровень качества данных (полнота, достоверность, согласованность, уникальность, своевременность); предлагать набор кандидатных правил качества данных.<br>Проектировать и строить пайплайны приёма данных (batch, change-data capture, файлы, API) и преобразования в рамках многослойных архитектур, включая интеграционные слои Data Vault 2.0 и размерные модели Kimball.<br>Реализовывать очистку и стандартизацию данных, дедупликацию и сопоставление клиентов (entity resolution), а также строить proof of concept на выборке данных с измеренными precision и recall.<br>Реализовывать правила качества данных как код: quality gates, карантин неуспешных записей, мониторинг и сверку выходных данных с итогами источников; фиксировать информацию об аудите и lineage для каждого запуска.<br>Строить идемпотентные, перезапускаемые и тестируемые пайплайны с автоматизированными тестами и развёртыванием через CI/CD.<br>Проводить ревью работы других инженеров, работать в паре с инженерами клиента и документировать runbook'и и материалы для передачи.</p><p>Требования</p><p><br>6+ лет в data engineering, включая как минимум три года работы с Databricks в продакшне.<br>Экспертный SQL и уверенный Python с PySpark.<br>Практический опыт с Delta Lake, Unity Catalog, Lakeflow Declarative Pipelines (ранее Delta Live Tables) и Lakeflow Jobs (ранее Workflows), Auto Loader и Azure Data Factory.<br>Моделирование данных: Data Vault 2.0 и размерное моделирование, slowly changing dimensions, история и данные на определённый момент времени (as-at data).<br>Профилирование данных, проектирование правил качества данных и фреймворки качества (pipeline expectations, Great Expectations, Soda или аналогичные).<br>Как минимум один реализованный проект по entity resolution или дедупликации на клиентских данных (Splink, Zingg, Dedupe или коммерческий master-data инструмент), включая оценку качества сопоставления.<br>Git, code review, CI/CD и автоматизированное тестирование пайплайнов данных.<br>Опыт миграции пайплайнов и данных с legacy-платформ, включая сверку.<br>Хороший письменный и устный английский; готовность работать на площадке клиента (в том числе в Великобритании) в течение нескольких недель.</p><p>Будет плюсом</p><p><br>Databricks Asset Bundles, Terraform.<br>Генерация пайплайнов и моделей на основе метаданных.<br>Семантические модели Power BI и Databricks SQL.<br>Стандартизация адресов и имён; работа с персональными данными в условиях маскирования и псевдонимизации.<br>Опыт в банковской сфере, страховании или управлении активами.<br>Сертификация Databricks Data Engineer Professional.</p><p>Технологический стек:</p><p>Azure Databricks (Unity Catalog, Delta Lake, Lakeflow Declarative Pipelines, Lakeflow Jobs, Lakeflow Connect, Auto Loader, Databricks SQL), Azure Data Lake Storage, Azure Data Factory, SQL, Python/PySpark, Splink или аналогичный, Great Expectations или Soda, Git, Azure DevOps или GitHub Actions, Terraform, Power BI.<br><br></p><p>Условия.</p><p>Работа с клиентами в регулируемой сфере финансовых услуг требует предварительной проверки перед назначением (проверка личности, права на работу, трудовой истории, судимости, кредитной истории и санкционных списков — по стандарту, указанному клиентом) и соблюдения политик Zoral в области информационной безопасности и защиты данных.</p> <div> <a href="https://jobs.dou.ua/companies/zoral/vacancies/375366/#reply-btn-id">Откликнуться на вакансию</a> </div>
Стек и инструменты
Сколько платят вам?
Анонимно укажите, сколько вы получаете как Data/ML-специалист, — сразу покажем, в скольких вакансиях платят меньше. А из ответов сложится зарплата, которую платят на деле, а не обещают.
Подходит ли вам эта вакансия?
Зарегистрируйтесь и загрузите резюме — посчитаем % совпадения с этой вакансией, подсветим сильные стороны и что стоит подтянуть
Ещё в Zoral
3 активные вакансии в компании
Data Engineer
~1 327 496 ₸ оценка по всем рынкам
Ищем опытного Data Engineer для проектирования и поддержки масштабируемых решений по трансформации и аналитике данных на Google Cloud Platform. Нужны сильные навыки SQL и BigQuery, опыт работы с dbt, Airflow/Cloud Composer, понимание ETL/ELT, моделирования данных и medallion-архитектуры. В работе — построение надёжных пайплайнов, контроль качества данных и участие в проектировании платформы.
Data Architect / Старший Data Engineer
~2 464 440 ₸ оценка по всем рынкам
Zoral ищет Data Architect / Senior Data Engineer для проектирования и разработки корпоративных data-платформ на Azure Databricks для клиентов из финансового сектора. Нужен опыт 8+ лет в data-архитектуре и инженерии, включая 3+ года работы с Databricks в продакшене, экспертный SQL и Python/PySpark, знание Data Vault 2.0 и Kimball. Роль hands-on: помимо архитектуры и технического лидерства, предстоит писать трансформации, модели данных и контроли качества, а также периодически работать на площадке клиента в Великобритании.
Похожие вакансии
6 вакансийСтарший AI инженер
~2 464 440 ₸ оценка по стеку, все рынки
Нужен старший AI-инженер для разработки и внедрения AI-функций в продукт ProVision: NLP, машинное обучение и LLM в продакшене. Требуется 5+ лет опыта в AI/ML, сильный Python, работа с LLM (RAG, fine-tuning, оценка), AWS и пайплайны данных. Предлагают гибкий формат, обучение, конференции и курсы английского.
Старший инженер по данным (Data Science)
~2 467 960 ₸ оценка
Компания в сфере финтеха ищет старшего инженера по данным для разработки и внедрения LLM, NLP и ML-моделей, а также сервисов на их основе для разговорного AI. Нужно вести полный цикл — от постановки задачи и исследования данных до обучения, оценки и деплоя production-сервисов на Python в микросервисной среде на AWS. Требуется 5+ лет в Data Science/ML, 3+ года с LLM и NLP, сильный Python, опыт с PyTorch/TensorFlow, Kubernetes и английский Upper-Intermediate.
AI Engineer
~2 464 440 ₸ оценка по всем рынкам
Ecosoft ищет AI Engineer, который внедрит агентные подходы в SDLC: AI-агентов для анализа требований, разработки, code review, тестирования и релизов. Нужны 4+ года коммерческой разработки на Python и/или TypeScript, опыт с production LLM-решениями (RAG, function calling, агенты) и внедрением AI-практик в команды. Предлагают работу над AI-инфраструктурой, MCP-интеграциями и RAG-решениями в международной компании.
Старший BigData инженер
~2 464 440 ₸ оценка по всем рынкам
Pine Software Technology Ltd ищет старшего Big Data инженера для построения и развития единой дата-платформы для трейдинговых SaaS-продуктов. Нужно проектировать масштабируемые пайплайны на PySpark, SQL и Databricks, настраивать CDC и ETL/ELT, моделировать данные и управлять инфраструктурой через Terraform. Требуется 6+ лет опыта в software/data engineering, сильный Python и SQL, английский Upper-Intermediate; предлагают медстраховку с первого дня, 25 дней отпуска, бюджет на обучение и отдых на вилле на Кипре.
Computer Vision Engineer (Middle+ / Senior)
~2 464 440 ₸ оценка по всем рынкам
Нужен инженер по компьютерному зрению для анализа видеопотоков с камер: обнаружение объектов, распознавание действий людей и выявление подозрительных сценариев. Требуется уверенный Python, PyTorch, опыт с CNN/Transformer, Object Detection и видеоданными. Условия и формат работы обсуждаются индивидуально.
Старший/Ведущий Data Engineer (Java/Flink/Kafka)
~2 464 440 ₸ оценка по всем рынкам
Нужен опытный инженер данных для платформы мониторинга производительности рабочих станций и виртуальных десктопов, которая обрабатывает миллионы событий в минуту. Предстоит строить Java-сервисы и масштабные стриминговые пайплайны на Kafka и Flink, проектировать хранение на PostgreSQL, ClickHouse и Redis, а также работать с gRPC и Protobuf. Требуется 6+ лет опыта распределённых высоконагруженных систем, 5+ лет Java и уверенный английский Upper-Intermediate.