Перейти к содержимому
Z
Zoral
18

Старший Data Engineer

Zoral ищет старшего Data Engineer для построения корпоративных дата-платформ на Azure Databricks для клиентов из финансового сектора. Нужен опыт 6+ лет в data engineering, минимум 3 года на Databricks в продакшене, экспертный SQL и Python/PySpark, знание Delta Lake, Unity Catalog, Data Vault 2.0 и Kimball. Работа включает проектирование пайплайнов, обеспечение качества данных, дедупликацию и матчинг клиентов, а также работу на территории клиента (включая Великобританию).

senior удалённо ~2 464 440 ₸
Вакансия опубликована 49 дней назад. Может быть уже неактуальна — рекомендуем уточнить статус у работодателя перед откликом.

Отклик отправляется на сайте источника. Регистрация в Taylor для перехода не нужна.

Языки: English · Upper-Intermediate
salary intelligence

Зарплата не указана — оценили по рынку

На основе 114 похожих вакансий за 90 дней по всем рынкам вместе — отдельной выборки по рынку этой вакансии нет.

оценка p25–p75
1 509 750 – 3 498 010 ₸
медиана: 2 464 440 ₸
Хотите увидеть распределение по грейдам и городам? Зарплаты Data/ML Калькулятор зарплат
описание

Что предстоит делать

<p>О Zoral.</p><p>Zoral — это IT-компания, занимающаяся продуктами и профессиональными услугами для банков, страховых компаний, управляющих активами и финтех-компаний. Наряду со своим флагманским продуктом Zoral fOS (Financial Operating System), Zoral реализует программы в области данных, аналитики и AI для регулируемых финансовых организаций в Европе, Великобритании, США и Азии.</p><p>О роли.</p><p>Мы ищем Senior Data Engineer для оценки и построения корпоративных платформ данных на Azure Databricks для регулируемых клиентов из сферы финансовых услуг. Типичные платформы объединяют десятки источников данных (базы данных, файлы и API) и миллионы записей о клиентах и полисах, а также питают несколько сотен отчётов. Вы проводите обзор существующих озёр данных и пайплайнов, профилируете и измеряете качество данных, доказываете подходы к очистке и сопоставлению клиентов на реальных данных, а затем строите и руководите построением продакшн-пайплайнов.</p><p>Обязанности</p><p>Проводить обзор существующего озера данных, его пайплайнов, заданий, notebook'ов и кода в том виде, в котором они развёрнуты; оценивать качество кода, эксплуатационную пригодность, практику тестирования и развёртывания.<br>Формировать инвентаризацию источников, потоков данных, сущностей, ключей, объёмов и паттернов обновления.<br>Профилировать данные в масштабе и устанавливать базовый уровень качества данных (полнота, достоверность, согласованность, уникальность, своевременность); предлагать набор кандидатных правил качества данных.<br>Проектировать и строить пайплайны приёма данных (batch, change-data capture, файлы, API) и преобразования в рамках многослойных архитектур, включая интеграционные слои Data Vault 2.0 и размерные модели Kimball.<br>Реализовывать очистку и стандартизацию данных, дедупликацию и сопоставление клиентов (entity resolution), а также строить proof of concept на выборке данных с измеренными precision и recall.<br>Реализовывать правила качества данных как код: quality gates, карантин неуспешных записей, мониторинг и сверку выходных данных с итогами источников; фиксировать информацию об аудите и lineage для каждого запуска.<br>Строить идемпотентные, перезапускаемые и тестируемые пайплайны с автоматизированными тестами и развёртыванием через CI/CD.<br>Проводить ревью работы других инженеров, работать в паре с инженерами клиента и документировать runbook'и и материалы для передачи.</p><p>Требования</p><p><br>6+ лет в data engineering, включая как минимум три года работы с Databricks в продакшне.<br>Экспертный SQL и уверенный Python с PySpark.<br>Практический опыт с Delta Lake, Unity Catalog, Lakeflow Declarative Pipelines (ранее Delta Live Tables) и Lakeflow Jobs (ранее Workflows), Auto Loader и Azure Data Factory.<br>Моделирование данных: Data Vault 2.0 и размерное моделирование, slowly changing dimensions, история и данные на определённый момент времени (as-at data).<br>Профилирование данных, проектирование правил качества данных и фреймворки качества (pipeline expectations, Great Expectations, Soda или аналогичные).<br>Как минимум один реализованный проект по entity resolution или дедупликации на клиентских данных (Splink, Zingg, Dedupe или коммерческий master-data инструмент), включая оценку качества сопоставления.<br>Git, code review, CI/CD и автоматизированное тестирование пайплайнов данных.<br>Опыт миграции пайплайнов и данных с legacy-платформ, включая сверку.<br>Хороший письменный и устный английский; готовность работать на площадке клиента (в том числе в Великобритании) в течение нескольких недель.</p><p>Будет плюсом</p><p><br>Databricks Asset Bundles, Terraform.<br>Генерация пайплайнов и моделей на основе метаданных.<br>Семантические модели Power BI и Databricks SQL.<br>Стандартизация адресов и имён; работа с персональными данными в условиях маскирования и псевдонимизации.<br>Опыт в банковской сфере, страховании или управлении активами.<br>Сертификация Databricks Data Engineer Professional.</p><p>Технологический стек:</p><p>Azure Databricks (Unity Catalog, Delta Lake, Lakeflow Declarative Pipelines, Lakeflow Jobs, Lakeflow Connect, Auto Loader, Databricks SQL), Azure Data Lake Storage, Azure Data Factory, SQL, Python/PySpark, Splink или аналогичный, Great Expectations или Soda, Git, Azure DevOps или GitHub Actions, Terraform, Power BI.<br><br></p><p>Условия.</p><p>Работа с клиентами в регулируемой сфере финансовых услуг требует предварительной проверки перед назначением (проверка личности, права на работу, трудовой истории, судимости, кредитной истории и санкционных списков — по стандарту, указанному клиентом) и соблюдения политик Zoral в области информационной безопасности и защиты данных.</p> <div> <a href="https://jobs.dou.ua/companies/zoral/vacancies/375366/#reply-btn-id">Откликнуться на вакансию</a> </div>

Вакансии в Telegram-канале
Свежие вакансии Каждый день
Подписаться
навыки

Стек и инструменты

Сколько платят вам?

Анонимно укажите, сколько вы получаете как Data/ML-специалист, — сразу покажем, в скольких вакансиях платят меньше. А из ответов сложится зарплата, которую платят на деле, а не обещают.

Без имени и компании. Отдельные ответы не публикуются.
??%
Match Score
Войдите и создайте резюме
Войти
Поделиться

Подходит ли вам эта вакансия?

Зарегистрируйтесь и загрузите резюме — посчитаем % совпадения с этой вакансией, подсветим сильные стороны и что стоит подтянуть

Создать аккаунт PDF-парсинг резюме за 2 минуты

Ещё в Zoral

3 активные вакансии в компании

1 мес. назад

Data Engineer

~1 327 496 ₸ оценка по всем рынкам

Ищем опытного Data Engineer для проектирования и поддержки масштабируемых решений по трансформации и аналитике данных на Google Cloud Platform. Нужны сильные навыки SQL и BigQuery, опыт работы с dbt, Airflow/Cloud Composer, понимание ETL/ELT, моделирования данных и medallion-архитектуры. В работе — построение надёжных пайплайнов, контроль качества данных и участие в проектировании платформы.

GCP BigQuery dbt +9
middle удал. dou
1 мес. назад

Data Architect / Старший Data Engineer

~2 464 440 ₸ оценка по всем рынкам

Zoral ищет Data Architect / Senior Data Engineer для проектирования и разработки корпоративных data-платформ на Azure Databricks для клиентов из финансового сектора. Нужен опыт 8+ лет в data-архитектуре и инженерии, включая 3+ года работы с Databricks в продакшене, экспертный SQL и Python/PySpark, знание Data Vault 2.0 и Kimball. Роль hands-on: помимо архитектуры и технического лидерства, предстоит писать трансформации, модели данных и контроли качества, а также периодически работать на площадке клиента в Великобритании.

Azure Databricks Unity Catalog Delta Lake +13
senior удал. dou

Похожие вакансии

6 вакансий
Z
Zfort
1 д. назад

Старший AI инженер

~2 464 440 ₸ оценка по стеку, все рынки

Нужен старший AI-инженер для разработки и внедрения AI-функций в продукт ProVision: NLP, машинное обучение и LLM в продакшене. Требуется 5+ лет опыта в AI/ML, сильный Python, работа с LLM (RAG, fine-tuning, оценка), AWS и пайплайны данных. Предлагают гибкий формат, обучение, конференции и курсы английского.

NLP LLM Machine Learning +11
senior удал. dou
Commit Offshore
C
Commit Offshore
1 д. назад

Старший инженер по данным (Data Science)

~2 467 960 ₸ оценка

Компания в сфере финтеха ищет старшего инженера по данным для разработки и внедрения LLM, NLP и ML-моделей, а также сервисов на их основе для разговорного AI. Нужно вести полный цикл — от постановки задачи и исследования данных до обучения, оценки и деплоя production-сервисов на Python в микросервисной среде на AWS. Требуется 5+ лет в Data Science/ML, 3+ года с LLM и NLP, сильный Python, опыт с PyTorch/TensorFlow, Kubernetes и английский Upper-Intermediate.

LLM NLP Python +8
senior удал. dj
E
Ecosoft
1 д. назад

AI Engineer

~2 464 440 ₸ оценка по всем рынкам

Ecosoft ищет AI Engineer, который внедрит агентные подходы в SDLC: AI-агентов для анализа требований, разработки, code review, тестирования и релизов. Нужны 4+ года коммерческой разработки на Python и/или TypeScript, опыт с production LLM-решениями (RAG, function calling, агенты) и внедрением AI-практик в команды. Предлагают работу над AI-инфраструктурой, MCP-интеграциями и RAG-решениями в международной компании.

Python TypeScript LLM +16
senior удал. dou
Pine Software Technology Ltd
P
Pine Software Technology Ltd
1 д. назад

Старший BigData инженер

~2 464 440 ₸ оценка по всем рынкам

Pine Software Technology Ltd ищет старшего Big Data инженера для построения и развития единой дата-платформы для трейдинговых SaaS-продуктов. Нужно проектировать масштабируемые пайплайны на PySpark, SQL и Databricks, настраивать CDC и ETL/ELT, моделировать данные и управлять инфраструктурой через Terraform. Требуется 6+ лет опыта в software/data engineering, сильный Python и SQL, английский Upper-Intermediate; предлагают медстраховку с первого дня, 25 дней отпуска, бюджет на обучение и отдых на вилле на Кипре.

PySpark SQL Databricks +6
senior удал. dou
Яснер
Я
Яснер
1 д. назад

Computer Vision Engineer (Middle+ / Senior)

~2 464 440 ₸ оценка по всем рынкам

Нужен инженер по компьютерному зрению для анализа видеопотоков с камер: обнаружение объектов, распознавание действий людей и выявление подозрительных сценариев. Требуется уверенный Python, PyTorch, опыт с CNN/Transformer, Object Detection и видеоданными. Условия и формат работы обсуждаются индивидуально.

Computer Vision Python PyTorch +3
senior удал. hh
A
A-listware
1 д. назад

Старший/Ведущий Data Engineer (Java/Flink/Kafka)

~2 464 440 ₸ оценка по всем рынкам

Нужен опытный инженер данных для платформы мониторинга производительности рабочих станций и виртуальных десктопов, которая обрабатывает миллионы событий в минуту. Предстоит строить Java-сервисы и масштабные стриминговые пайплайны на Kafka и Flink, проектировать хранение на PostgreSQL, ClickHouse и Redis, а также работать с gRPC и Protobuf. Требуется 6+ лет опыта распределённых высоконагруженных систем, 5+ лет Java и уверенный английский Upper-Intermediate.

Java Apache Kafka Apache Flink +10
senior удал. dou