Инженер по данным

Навыки: Python, Apache Airflow, ClickHouse, GitLab. Квалификация: Middle. Специализации: Инженер по данным. Utair – крупный российский авиационный холдинг. Самолеты Utair обслуживают 140 направлений в России, из них — 75 уникальные, и перевозят более 6 млн пассажиров в год. Вертолётный парк - крупнейший в мире, с самой большой грузоподъемностью флота. Utair IT – дочерняя ИТ-компания группы Utair. Мы разрабатываем и обслуживаем все информационные системы Utair, делаем сервисы для пассажиров удобнее и быстрее, повышаем эффективность производственных процессов с помощью ИТ-продуктов. Сейчас UTair IT ищет инженера данных, который будет отвечать за сбор, обработку и передачу данных между системами. Основная задача - обеспечить, чтобы данные из разных источников были корректно собраны, очищены, преобразованы и доступны для аналитиков, разработчиков и бизнес-команд. **Обязанности** - разработка, поддержка и оптимизация ETL/ELT-пайплайнов на Python и Airflow; - работа с ClickHouse - проектирование таблиц, оптимизация запросов, контроль производительности; - интеграция данных из разных источников (БД, API, файловые хранилища и др., в том числе с помощью Apache Kafka/Yandex Data Transfer); - мониторинг и отладка DAG’ов в Apache Airflow; - настройка и использование GitLab CI/CD для автоматизации развертывания и тестирования пайплайнов; - работа с большими объёмами данных и обеспечение целостности информации; - участие в проектировании архитектуры данных и документации процессов; - взаимодействие с аналитиками и разработчиками для согласования требований к данным. **Нам важно** - опыт работы инженером данных или аналитиком данных от 2-х лет (если был опыт с ETL/ELT, Airflow, Clickhouse или курсы по инженерии); - Python уровень уверенный: разработка production-скриптов и сервисов на Python (не только Jupyter-ноутбуки), чистый код, функции/ООП, обработка ошибок, логирование, pandas, sqlalchemy/asyncpg или другие драйверы DB, requests/aiohttp для API - Airflow уровень уверенный: создание и поддержка DAG’ов в Airflow в продакшне, операторы/сенсоры (PythonOperator, Sensor, CustomOperator), XCom, task dependencies, понимание архитектуры Airflow (scheduler, executor — Local/Celery/Kubernetes) - Git: уверенная работа с ветками, коммитами, rebase и merge, умение создавать merge requests, решать конфликты, понимание принципов code review и ведения истории изменений - SQL уровень продвинутый: джоины, агрегаты, вложенные запросы, оконные функции, CTE, чтение планов выполнения, индексирование/партиционирование в реляционных БД (общая идея), оценка стоимости запросов - GitLab: понимание принципов CI/CD, опыт настройки пайплайнов для тестирования и деплоя, базовое представление о GitLab runners, environments, variables - будет плюсом опыт работы с системами хранения данных (Postgres, Oracle, MongoDB, файловые хранилища) **Мы готовы предложить** - работу в аккредитованной IT- компании, получающей налоговые льготы, подходим под условия IT-ипотеки; - льготы на авиаперелёты для вас и членов вашей семьи - официальное трудоустройство, «белую» заработную плату; - удаленный формат работы, 5/2 (сб, вск – выходные), работаем с 09.00 до 18.00; - обучение необходимым навыкам за счет компании, участие в конференциях; - ДМС со стоматологией; - профсоюз (компенсация спортзала, бассейна, мероприятий); - оборудование для работы