Старший Data инженер (GCP)

Что предстоит делать

<p><b>О Digis</b> <br>Digis — это европейская IT-компания, в которой работает более 230 специалистов, разрабатывающих сложные продукты для более чем 70 клиентов в США, Европе и Канаде. Мы работаем в среде с приоритетом удаленной работы и фокусируемся на долгосрочном сотрудничестве, стабильных проектах и прозрачных процессах.<br><br><b>О проекте</b> <br>Вы присоединитесь к долгосрочному проекту в сфере промо-продукции / дропшиппинга.<br>Клиент получает данные о продуктах от более чем 50 поставщиков в различных форматах и в настоящее время модернизирует свою платформу данных. Основная цель — автоматизировать трансформацию данных поставщиков, улучшить качество данных, мигрировать с существующего ETL-инструмента Talend и создать масштабируемый фреймворк на базе GCP, который будет служить единым источником достоверных данных о чистых продуктах.<br><br><b>Требования</b></p><ul><li>Требования</li><li>5+ лет опыта работы в роли Data Engineer</li><li>1+ год опыта работы с GCP</li><li>Уровень английского Upper-Intermediate и выше</li></ul><p><br><b>Обязанности</b></p><ul><li>Создавать и поддерживать автоматизированные пайплайны данных для фидов продуктов поставщиков</li><li>Нормализовывать различные форматы поставщиков в единую структуру данных</li><li>Внедрять валидацию данных, проверки качества и отчеты о качестве данных для поставщиков</li><li>Хранить версии преобразованных данных и доставлять чистые данные во внутренние системы</li><li>Мигрировать существующие ETL-процессы Talend на новый стек данных на базе GCP</li><li>Настраивать переиспользуемые фреймворки пайплайнов для будущих интеграций с поставщиками</li><li>Работать с Python, BigQuery, Dataform, Cloud Composer, Terraform и связанными инструментами GCP</li></ul><p><br><b>Преимущества</b></p><ul><li>Долгосрочный проект с существующим бизнесом и реальными производственными данными</li><li>Критически важная для бизнеса платформа данных с заметным влиянием на операции клиента</li><li>Возможность взять на себя ответственность за автоматизацию и модернизацию пайплайнов данных</li><li>Работа с более чем 50 источниками данных поставщиков и реальными задачами по обеспечению качества данных</li><li>Четкий фокус на Data Engineering, автоматизацию, трансформацию и качество данных</li></ul><p><br><b>Мы предлагаем</b></p><ul><li>20 оплачиваемых отпускных дней в год</li><li>5 оплачиваемых больничных дней без необходимости предоставления медицинской справки</li><li>Компенсация за профессиональные курсы</li><li>Поддержка в изучении английского языка</li><li>Рабочее оборудование</li><li>Прозрачная коммуникация и процессы</li><li>Возможность переключаться между проектами внутри Digis</li><li>Юридическая и бухгалтерская поддержка</li><li>Корпоративный психолог</li></ul> <div> <a href="https://jobs.dou.ua/companies/digis/vacancies/365168/#reply-btn-id">Откликнуться на вакансию</a> </div>