Middle/Senior Data Engineer / SQL Developer

Что предстоит делать

<h3>Middle/Senior Data Engineer / SQL Developer</h3><h3>Задачи, над которыми нужно будет работать</h3><ul><li>SQL-разработка и работа с базами данных: разработка сложных SQL-запросов, процедур, представлений и других объектов базы данных для аналитических систем.</li><li>анализ и оптимизация производительности запросов, работа с индексами, планами выполнения, партиционированием и большими объемами данных.</li><li>построение Data Pipelines: проектирование, разработка и поддержка надежных ETL/ELT-процессов для загрузки, трансформации и передачи данных между различными системами.</li><li>оркестрация пайплайнов с помощью Apache Airflow и dbt.</li><li>разработка на Python: создание Python-скриптов и сервисов для обработки, проверки, трансформации и передачи данных. Интеграция с базами данных, REST API и внешними источниками.</li><li>моделирование данных: проектирование схем и моделей данных для аналитических систем, Data Warehouse и Data Lake. Построение и поддержка слоев staging, intermediate и marts.</li><li>оптимизация и поддержка: рефакторинг и повышение производительности существующих SQL- и Python-разработок, устранение технического долга, анализ проблем в процессах загрузки и обработки данных.</li><li>качество и надежность данных: реализация проверок Data Quality, валидации данных, логирования, мониторинга и обработки ошибок в data pipelines.</li><li>аналитическая отчетность: подготовка структурированных наборов данных и моделей для построения аналитических дашбордов и отчетности.</li></ul><h3>Какие навыки пригодятся</h3><p><strong>Общий опыт: </strong></p><ul><li>от 2 лет опыта в сфере Data Engineering</li><li>SQL-разработки или Python-разработки для задач обработки данных. </li></ul><p><strong>Практический опыт работы с PostgreSQL.</strong></p><ul><li>опыт оптимизации SQL-запросов, работы с индексами и большими таблицами.</li><li>опыт создания и поддержки views, functions, procedures и других объектов базы данных.</li></ul><p><strong>Python для Data Engineering:</strong></p><ul><li>уверенное владение Python для задач обработки и передачи данных.</li><li>работа с форматами JSON, CSV, Excel, Parquet и другими форматами данных.</li><li>написание поддерживаемого, модульного и тестируемого кода</li><li>понимание ООП, exception handling, logging и configuration management.</li><li>опыт работы с pandas, SQL-коннекторами, REST API и внешними источниками.</li></ul><p><strong>Apache Airflow:</strong></p><ul><li>практический опыт создания и поддержки DAG.</li><li>оркестрация ETL/ELT-процессов.</li><li>настройка dependencies, scheduling, retries и timeout.</li><li>работа с Airflow Connections, Variables и Secrets.</li><li>мониторинг и troubleshooting ошибок в pipeline.</li><li>понимание принципов idempotency и безопасного повторного запуска процессов.</li></ul><p><strong>dbt:</strong></p><ul><li>практический опыт создания и поддержки dbt models.</li><li>Работа с sources, ref, tests, snapshots и seeds.</li><li>Использование Jinja и macros.</li><li>Понимание incremental models.</li><li>Построение data lineage и технической документации.</li><li>Опыт организации staging, intermediate и marts layers.<strong></strong></li></ul><p><strong>API и интеграции:</strong></p><ul><li>опыт интеграции с REST API и настройки обмена данными между информационными системами.</li><li>понимание принципов авторизации, обработки ответов API, pagination, retries и error handling.</li><li>будет дополнительным преимуществом</li></ul><h3>Будет дополнительным преимуществом</h3><ul><li>понимание принципов Data Warehouse, Data Lake, ETL/ELT, OLTP и OLAP.</li><li>знание dimensional modeling, Star Schema и Snowflake Schema.</li><li>опыт работы с NoSQL-базами данных.</li><li>опыт работы с Git, branching strategy и code review.</li><li>понимание или практический опыт настройки CI/CD.</li><li>опыт контейнеризации с помощью Docker.</li><li>опыт работы с облачными платформами AWS, Microsoft Azure или Google Cloud Platform.</li><li>понимание принципов Data Quality, Data Validation, monitoring и logging.</li><li>базовое понимание возможностей AI, ML и LLM для автоматизации процессов обработки и анализа данных.</li></ul> <div> <a href="https://jobs.dou.ua/companies/upg/vacancies/369813/#reply-btn-id">Откликнуться на вакансию</a> </div>