Data Engineer

Что предстоит делать

<h3>Обзор роли</h3><p>Мы ищем опытного Data Engineer для проектирования, разработки и поддержки масштабируемых решений по трансформации и аналитике данных на Google Cloud Platform (GCP).</p><p>Роль сосредоточена на построении надёжных data pipelines и моделей трансформации с использованием BigQuery, dbt, Airflow и Dataplex, как правило, следуя медальонной архитектуре со слоями данных bronze, silver и gold.</p><p>Успешный кандидат должен обладать сильными практическими навыками data engineering, а также хорошим пониманием качества данных, очистки данных, моделирования данных, lineage, governance и производственных операций с данными.</p><p>Опыт, выходящий за рамки реализации в область data architecture, solution architecture, семантического моделирования или knowledge engineering, крайне желателен.</p><h3>Ключевые обязанности</h3><p>· Разрабатывать и поддерживать модели трансформации данных в dbt и BigQuery.</p><p>· Строить надёжные ELT / ETL pipelines на GCP.</p><p>· Проектировать потоки данных между слоями Bronze, Silver и Gold.</p><p>· Внедрять очистку данных, валидацию и контроль качества данных.</p><p>· Оркестрировать рабочие процессы с использованием Airflow / Cloud Composer.</p><p>· Исследовать проблемы с данными и устранять расхождения между исходными и целевыми системами.</p><p>· Работать с аналитиками, архитекторами и бизнес-стейкхолдерами для преобразования требований в надёжные модели данных.</p><p>· Вносить вклад в решения по моделированию данных, governance, lineage и проектированию платформы.</p><h3>Обязательные навыки</h3><p>· Сильный опыт работы с SQL и BigQuery.</p><p>· Практический опыт работы с dbt.</p><p>· Опыт работы с Airflow / Cloud Composer.</p><p>· Хорошее знание сервисов данных GCP, в идеале включая Dataplex и Cloud Storage.</p><p>· Сильное понимание ETL / ELT, моделирования данных и медальонной архитектуры.</p><p>· Хорошее понимание качества данных, очистки, валидации и сверки.</p><p>· Опыт работы с Git и CI/CD.</p><h3>Будет плюсом</h3><p>· Опыт в Data Architecture или Solution Architecture.</p><p>· Knowledge Engineering, семантическое моделирование, онтологии или графы знаний.</p><p>· Terraform и Python.</p><p>· Kafka / Pub/Sub или потоковые архитектуры.</p><p>· Опыт работы с корпоративными платформами данных или проектами миграции в облако.</p><p>Мы особенно заинтересованы в инженерах, которые могут выйти за рамки реализации pipelines и понимают бизнес-смысл, структуру, качество и жизненный цикл данных.</p><h3>Типичный технологический стек</h3><p>· Облако: Google Cloud Platform</p><p>· Хранилище данных: BigQuery</p><p>· Трансформация: dbt</p><p>· Оркестрация: Apache Airflow / Cloud Composer</p><p>· Качество данных и Governance: Dataplex</p><p>· Хранение: Google Cloud Storage</p><p>· Infrastructure as Code: Terraform</p><p>· Разработка: SQL, Python</p><p>· Контроль версий / CI/CD: Git-based CI/CD platforms</p> <div> <a href="https://jobs.dou.ua/companies/zoral/vacancies/375336/#reply-btn-id">Откликнуться на вакансию</a> </div>