Data Engineer

Что предстоит делать

<p><strong>Банк «Південний»</strong> — один из лидеров финансового рынка Украины, занимающий третье место в группе украинских банков с частным капиталом по размеру активов.</p><p>Уже 32 года «Південний» является надёжным финансовым партнёром для частных клиентов, малого, среднего и корпоративного бизнеса.<br>Команда «Південного» — это более 1700 активных и целеустремлённых сотрудников по всей Украине.</p><p><strong>Сейчас мы ищем Data Engineer.</strong></p><h3>Миссия роли:</h3><p>Развитие и поддержка современной Data Platform Банка, создание надёжных, производительных и масштабируемых процессов обработки и интеграции данных.</p><p>В этой роли вы будете отвечать за разработку ETL/ELT-процессов, построение data pipelines, оптимизацию обработки больших объёмов данных и обеспечение их качества.</p><p>Отдельным направлением станет участие в миграции существующих Oracle ETL-процессов на Data Platform, внедрение современных инженерных подходов и развитие стандартизированных компонентов для работы с данными.</p><h3>Что мы предлагаем:</h3><ul><li>конкурентную заработную плату;</li><li>медицинское страхование;</li><li>работу в функциональном комфортном офисе с возможностью дистанционной работы;</li><li>консультации корпоративного психолога;</li><li>возможность карьерного роста и развития;</li><li>возможность прохождения профессиональных курсов и обучения;</li><li>возможность работать в стабильной и профессиональной компании с дружной командой.</li></ul><h3>Что нужно делать:</h3><ul><li>разрабатывать и поддерживать ETL/ELT-процессы в Data Platform Банка;</li><li>писать и оптимизировать SQL, Spark / PySpark-код и data pipelines;</li><li>реализовывать обработку данных по архитектуре <strong>RAW → HIST → TRANSFORMED → GOLD</strong>;</li><li>разрабатывать incremental, CDC и near-real-time процессы обработки данных;</li><li>создавать и поддерживать механизмы загрузки данных (data ingestion) из различных источников;</li><li>реализовывать historization, deduplication, validation и reconciliation;</li><li>оптимизировать Spark jobs, включая partitioning, joins, shuffle, memory и parallelism;</li><li>разрабатывать повторно используемые компоненты и framework-решения для типовых процессов обработки данных;</li><li>участвовать в code review, refactoring и устранении технического долга;</li><li>внедрять механизмы Data Quality, logging, monitoring, retry и error handling;</li><li>работать с <strong>Apache Ozone, Apache Iceberg, Parquet</strong> и другими компонентами Data Platform;</li><li>разрабатывать и поддерживать DAG и процессы оркестрации в <strong>Apache Airflow</strong>;</li><li>работать с metadata model, Data Catalog и Data Lineage;</li><li>поддерживать процессы CI/CD, Git и подход Everything as Code;</li><li>участвовать в миграции существующих Oracle ETL-процессов на Data Platform;</li><li>проводить performance testing, анализировать bottlenecks и оптимизировать производительность процессов;</li><li>готовить техническую документацию и стандартизированные шаблоны реализации;</li><li>взаимодействовать с Data Architect, аналитиками, ИТ-специалистами и другими командами во время разработки и внедрения data-решений.</li></ul><h3>Для этого понадобится:</h3><ul><li>опыт работы <strong>Data Engineer / ETL Developer / DWH Developer от 3 лет</strong>;</li><li>уверенное владение SQL и практический опыт оптимизации запросов;</li><li>практический опыт работы с <strong>Apache Spark / PySpark</strong>;</li><li>опыт разработки ETL/ELT-процессов и data pipelines;</li><li>понимание принципов distributed processing, partitioning, shuffle и parallelism;</li><li>опыт обработки больших объёмов данных;</li><li>понимание CDC, incremental processing и historization;</li><li>опыт работы с Parquet, Iceberg или аналогичными форматами;</li><li>опыт работы с <strong>Apache Airflow</strong> или другими инструментами оркестрации;</li><li>практический опыт code review, refactoring и performance optimization;</li><li>понимание принципов Data Quality, logging, monitoring и error handling;</li><li>опыт использования Git, CI/CD и подхода Everything as Code;</li><li>понимание процессов разработки и развёртывания изменений между средами DEV / TEST / PROD;</li><li>умение писать структурированный, поддерживаемый и повторно используемый код;</li><li>навыки анализа узких мест и повышения производительности процессов обработки данных;</li><li>базовое понимание Data Modeling, Metadata Management, Data Catalog и Data Lineage;</li><li>опыт командного взаимодействия с Data Architect, аналитиками и ИТ-специалистами;</li><li>английский язык — <strong>Intermediate</strong>, достаточный для работы с технической документацией.</li></ul><p><strong>Будет преимуществом:</strong></p><ul><li>опыт работы с <strong>Oracle PL/SQL</strong>;</li><li>опыт работы с <strong>Oracle Analytics / Oracle BI</strong>;</li><li>опыт миграции ETL-процессов с Oracle на современные Data Platform;</li><li>углублённые знания <strong>Apache Spark / PySpark</strong>;</li><li>практический опыт использования <strong>Python</strong> для обработки данных и автоматизации процессов.</li></ul><p>Если вас заинтересовало наше предложение, отправляйте свой отклик и узнавайте подробности.</p><p>Срок рассмотрения резюме составляет 14 дней. В случае, если вы не получили от нас ответа, это означает, что сейчас мы не можем предложить вам вакансию, но сохранили резюме в нашей базе, мы свяжемся с Вами в случае появления соответствующего предложения.</p><p>Благодарим за проявленный интерес к нашей вакансии!</p> <div> <a href="https://jobs.dou.ua/companies/pivdenny/vacancies/376497/#reply-btn-id">Откликнуться на вакансию</a> </div>