Middle Python Developer

Что предстоит делать

<p><strong>Middle Python Developer</strong> <br><br>Задачи, над которыми нужно будет работать:</p><ul><li>Проектирование и разработка: создание Python-скриптов для обработки, трансформации и передачи данных, а также разработка аналитических дашбордов.</li><li>Построение Data Pipelines: проектирование, разработка и оркестрация надежных ETL/ELT-процессов с помощью Apache Airflow и dbt.</li><li>Моделирование данных: проектирование схем и моделей данных для аналитических систем (включая построение слоев staging, intermediate и marts).</li><li>Оптимизация и поддержка: рефакторинг и повышение производительности существующих разработок, анализ планов выполнения SQL-запросов (EXPLAIN) и тюнинг PostgreSQL.</li><li>Качество и надежность: обеспечение Data Quality, настройка мониторинга, логирования и обработки ошибок в пайплайнах данных.</li></ul><h3>Какие навыки пригодятся:</h3><ul><li>Общий опыт: от 2 лет в сфере Data Engineering / Python-разработки.</li><li>Глубокие знания SQL и PostgreSQL: уверенное написание сложных запросов (CTE, window functions, JOINs), работа с индексами, партиционированием и оптимизацией производительности.</li><li>Python для Data-задач: отличное владение языком, опыт работы с pandas, SQL-коннекторами, REST API и форматами данных (JSON, CSV, Parquet). Понимание принципов ООП, модульности, тестируемости и чистого кода.</li><li>Apache Airflow: практический опыт создания и поддержки DAGs, настройки зависимостей, тасков, Airflow Connections/Variables, понимание принципов идемпотентности.</li><li>dbt (data build tool): опыт создания dbt-моделей, использование Jinja/macros, incremental models, настройка data lineage и документации.</li><li>Работа с современными инструментами: понимание базовых принципов работы с AI Prompt / ML / LLM.</li><li>API: создание и настройка методов API для обмена данными.</li></ul><h3>Будет дополнительным плюсом:</h3><ul><li>Архитектура данных: понимание принципов Data Warehouse (DWH) / Data Lake, OLTP/OLAP, а также моделей «Звезда» (Star Schema) и «Снежинка» (Snowflake Schema).</li><li>DevOps и инструментарий: опыт работы с Git, настройкой CI/CD процессов и контейнеризацией через Docker.</li><li>Базы данных и облака: опыт работы с NoSQL решениями и облачными платформами (AWS / GCP / Azure).</li></ul> <div> <a href="https://jobs.dou.ua/companies/upg/vacancies/369812/#reply-btn-id">Откликнуться на вакансию</a> </div>