Data Engineer (Hadoop)

Навыки: Python, Apache Spark, Apache Hadoop, Apache Airflow, SQL. Квалификация: Senior. Специализации: Инженер по данным. **Чем предстоит заниматься** - Проектирование и разработка отказоустойчивых ETL/ELT процессов в экосистеме Hadoop и Oracle - Оптимизация и сопровождение пайплайнов данных (Spark, PySpark, Airflow) - Интеграция новых источников данных и построение витрин для бизнес-заказчиков - Обеспечение качества и актуальности данных в продуктивных системах - Участие в архитектурных решениях по хранению и обработке больших данных - Ad-hoc аналитика и поддержка команд аналитиков и data scientist **Что для этого нужно** - Высшее техническое образование - Опыт работы с большими данными от 3 лет - Хорошее знание Python (pandas, PySpark) и SQL - Опыт работы с Hadoop/Spark и системами оркестрации (Airflow и др.) - Понимание принципов построения витрин данных и дата-моделирования - Опыт оптимизации запросов и пайплайнов обработки данных - Навыки работы с git и Linux bash - Ответственность за результат и умение работать в команде