Data Engineer (Data Warehouse)

Что предстоит делать

Andersen ищет Data Engineer для проекта по созданию корпоративной платформы Data Warehouse и разработке масштабируемых решений для обработки данных и аналитики. Заказчик — устоявшаяся финансовая организация, работающая в сфере страхования и финансовых услуг. Компания предоставляет широкий спектр долгосрочных финансовых решений и решений, связанных с защитой, как для индивидуальных, так и для корпоративных клиентов. Она уделяет особое внимание улучшению цифровых возможностей, повышению качества обслуживания клиентов и модернизации внутренних процессов с помощью масштабируемых технологий, безопасных платформ и инициатив по оптимизации операционной деятельности. Проект направлен на создание корпоративной платформы Data Warehouse для централизованной обработки, хранения и аналитики данных из множества внутренних систем. Он включает разработку масштабируемых процессов ETL/ELT, повышение качества данных, установление стандартов разработки и управления, а также создание надежной основы для отчетности, BI и будущих аналитических решений.

• Участие в проектировании и развитии архитектуры платформы DWH.
• Определение стандартов разработки.
• Создание масштабируемых и поддерживаемых процессов ETL/ELT.
• Проектирование и реализация конвейеров данных с использованием Apache Airflow и Python.
• Проектирование структур DWH и многомерных моделей данных.
• Создание интеграций с Oracle и 1С.
• Разработка стратегий инкрементальной загрузки.
• Настройка и стандартизация процессов dbt.
• Внедрение подходов к обеспечению качества данных и механизмов валидации.
• Оптимизация производительности конвейеров и SQL-трансформаций.
• Анализ и улучшение существующих архитектурных решений.
• Обеспечение расширяемости и масштабируемости платформы.
• Участие в проектировании витрин данных, готовых к использованию в BI.
• Сотрудничество с командами инфраструктуры и DevOps.
• Подготовка технической документации.
• Проведение ревью кода.
• Наставничество Middle Data Engineer.
• Проведение сессий передачи знаний для внутренней команды заказчика.
• Консультирование заказчика по дальнейшему развитию платформы.
• Обязательные требования:
• Опыт работы в проектах по Data Engineering / DWH от 5 лет.
• Уверенные практические навыки работы с Python, Apache Airflow, SQL, PostgreSQL и dbt.
• Глубокое понимание процессов ETL/ELT, многомерного моделирования и методологии Кимбалла.
• Практический опыт создания масштабируемых конвейеров данных, инкрементальной загрузки, оркестрации рабочих процессов и оптимизации производительности.
• Опыт интеграции с Oracle.
• Опыт работы с устаревшими / некачественными данными.
• Опыт внедрения проверок качества данных и фреймворков валидации.
• Опыт внедрения лучших практик и стандартов разработки.
• Понимание процессов CI/CD, особенно в среде GitLab.
• Понимание подходов к наблюдаемости и мониторингу (Grafana, Zabbix).
• Уровень английского языка — от Intermediate и выше.
• Будет плюсом:
• Опыт работы с экосистемами BI/отчетности.
• Понимание Superset, Power BI и аналитических витрин данных.
• Опыт интеграции с 1С.
• Опыт работы в банковской, страховой или fintech-сферах.
• Почему эта работа будет вам интересна:
• Опыт работы в команде с лидерами FinTech, Healthcare, Retail, Telecom и других отраслей. Andersen сотрудничает с такими компаниями, как Samsung, Siemens, Johnson & Johnson, BNP Paribas, Ryanair, Mercedes, TUI, Verivox, Allianz, T-Systems и др.
• Возможность сменить проект и/или развить экспертизу в интересной бизнес-области.
• Условия работы — вы можете работать как полностью удаленно, так и из офиса, или выбрать гибридный вариант.
• Гарантия профессионального, финансового и карьерного роста! В компании внедрены системы наставничества и адаптации для каждого нового сотрудника.
• Возможность зарабатывать до дополнительных 1 000 USD в месяц (в зависимости от уровня экспертизы), которые будут включены в годовой бонус, участвуя в деятельности компании.
• Доступ к корпоративному учебному порталу, где собрана вся база знаний компании и который постоянно обновляется.
• Яркая корпоративная жизнь (вечеринки / дни пиццы / PlayStation / фрукты / кофе / снеки / кино).
• Компенсация сертификации (AWS, PMP и др.).
• Реферальная программа.
• Курсы английского языка.
• Частная медицинская страховка и компенсация занятий спортом.
• Присоединяйтесь к нам!
• Ваши персональные данные защищены в соответствии с регламентом GDPR.