Data Engineer (Python, Airflow)

Что предстоит делать

<p><strong>Обязанности:</strong></p><p>• Разработка и поддержка ETL/ELT-пайплайнов (batch и streaming) с использованием Python, Airflow и Cron.</p><p>• Автоматизация сбора, очистки, разметки и трансформации данных из различных источников (логов, API, IoT/embedded-источников).</p><p>• Проектирование и внедрение решений по накоплению и хранению данных.</p><p>• Оптимизация процессов хранения и поиска данных (partitioning, lifecycle, cost optimization) и улучшение производительности регулярных аналитических запросов.</p><p>• Планирование и выполнение миграций данных между форматами/платформами с минимальным риском потери информации.</p><p>• Реализация инструментов контроля качества данных: валидации, метрик, alerting, выявление дублей/аномалий/отсутствующих значений.</p><p>• Подготовка «чистых» датасетов для аналитиков и data scientists; документирование схем, трансформаций и lineage.</p><p>• Совместная работа с DevOps для деплоя, мониторинга и надежности пайплайнов; участие в code review и инженерных решениях.</p><p>• Troubleshooting production-инцидентов и поддержка регламентов операций.<br> </p><p><strong>Требования:</strong></p><p>• Профессиональное знание Python для обработки данных и автоматизации.</p><p>• Опыт с Apache Airflow (проектирование DAG, сенсоры, таски, операторы, scheduling).</p><p>• Практика использования Cron для простых/legacy jobs.</p><p>• Опыт с NoSQL (MongoDB) и работа с большими объемами данных (терабайты за операцию/стриминг).</p><p>• Опыт работы с Azure Blob Storage или аналогичными объектными хранилищами.</p><p>• Уверенное владение Jupyter Notebooks для прототипирования и поддержки аналитиков.</p><p>• Глубокое понимание ETL/ELT подходов, incremental loads, принципов построения datalake/warehouse.</p><p>• Умение читать/оптимизировать SQL и SQL-подобные запросы.</p><p>• Git, базовые практики CI/CD, понимание production deployment пайплайнов.</p><p>• Аналитическое мышление, внимание к качеству данных, коммуникация со стейкхолдерами.<br><br><strong>Будет плюсом:</strong></p><p>(особенно ценны) Snowflake, Elasticsearch</p><p>• Kafka или другие stream-платформы; опыт работы со стриминговой обработкой.</p><p>• Redpandas / pandas оптимизации для крупномасштабной обработки.</p><p>• Ansible или другие инструменты автоматизации инфраструктуры.</p><p>• Power BI или другие BI-инструменты (для интеграции и визуализации).</p><p>• Grafana / Prometheus для мониторинга и alerting.</p><p>• Опыт миграций в cloud DWH, работа с data lineage и governance.</p> <div> <a href="https://jobs.dou.ua/companies/nda-recruitment/vacancies/358452/#reply-btn-id">Откликнуться на вакансию</a> </div>