Data инженер (Snowflake, Dagster, dbt)

Что предстоит делать

<p><strong>Introduct Group</strong> — это международная технологическая компания, предоставляющая индивидуальные программные решения и цифровые продукты для бизнеса по всему миру. Мы работаем над сложными крупномасштабными проектами в различных отраслях, помогая клиентам превращать идеи в надежные, масштабируемые системы.<br><strong><br></strong>Наш клиент — одна из ведущих мировых логистических компаний, переживающая масштабную цифровую трансформацию. Проект сосредоточен на создании современных Data Products на облачном стеке с использованием Snowflake, Dagster и dbt, а также на миграции существующих решений для работы с данными на базе Oracle. Роль включает разработку и поддержку пайплайнов данных, реализацию трансформаций, обеспечение качества данных и предоставление проверенных данных на уровни BI.<br><br><strong>Обязанности</strong></p><ul><li>Разрабатывать и поддерживать Data Products на современном облачном стеке (Snowflake, Dagster, dbt)</li><li>Поддерживать миграцию устаревших решений для работы с данными на базе Oracle в облачную архитектуру</li><li>Проектировать, создавать и оптимизировать ETL/ELT пайплайны данных</li><li>Внедрять и управлять рабочими процессами оркестрации данных (Dagster)</li><li>Проектировать и развивать модели хранилищ данных и витрин данных</li><li>Выполнять трансформацию данных и обеспечивать их качество и согласованность</li><li>Валидировать преобразованные данные на соответствие бизнес-правилам и операционным KPI</li><li>Сотрудничать с бизнес-стейкхолдерами для преобразования требований в структуры данных</li><li>Поддерживать процессы CI/CD для пайплайнов данных и развертываний</li><li>Мониторить, устранять неполадки и улучшать производительность платформы данных</li></ul><p><br><strong>Требования</strong> <br>Хранилища данных</p><ul><li>Уверенные навыки SQL (сложные аналитические запросы, DDL/DML, настройка производительности)</li><li>Snowflake — уровень от среднего до продвинутого</li><li>Oracle — умение читать и понимать существующие схемы и бизнес-логику (требуется для задач миграции)</li></ul><p>Моделирование данных</p><ul><li>Опыт проектирования и реализации моделей данных (dimensional modeling, Data Marts и т.д.)</li><li>Понимание многоуровневой архитектуры данных (staging, integration, presentation layers)</li><li>Способность преобразовывать бизнес-требования в масштабируемые структуры данных</li></ul><p>Анализ и валидация данных</p><ul><li>Опыт профилирования данных и исследовательского анализа данных (EDA)</li><li>Сильные аналитические навыки для исследования аномалий, пробелов и несоответствий в данных</li><li>Способность валидировать преобразованные данные на соответствие бизнес-правилам и KPI</li></ul><p>Программирование</p><ul><li>Python — разработка кода production-уровня</li></ul><p>Оркестрация и трансформация</p><ul><li>Dagster — оркестрация рабочих процессов</li><li>dbt-core + dbt-snowflake — трансформация данных</li></ul><p>Облако и инфраструктура</p><ul><li>Базовые знания AWS</li><li>Опыт работы с CI/CD пайплайнами</li><li>Flyway (версионирование миграций баз данных)</li></ul><p>Дополнительные инструменты</p><ul><li>GitLab (система контроля версий)</li><li>Базовое использование CLI</li><li>AI-инструменты (например, GitHub Copilot)<br><br></li></ul><p><strong>Будет плюсом</strong></p><ul><li>Опыт работы с инструментами BI и визуализации (Tableau, SAP BI) и их взаимодействием с хранилищами данных</li><li>Опыт работы с Jenkins</li></ul><p><br><strong>Что мы предлагаем</strong></p><ul><li>Конкурентная заработная плата</li><li>Гибкий удаленный график работы с возможностью участвовать в престижных глобальных проектах</li><li>Разнообразная, мультинациональная команда, обслуживающая клиентов в более чем 10 странах</li><li>Факультативные занятия английским языком для повышения языковых навыков</li><li>Выделенный бюджет на обучение для прохождения курсов и получения сертификатов для поддержки профессионального развития (после успешного прохождения испытательного срока)</li><li>Предоставление необходимого оборудования для оптимальной работы (в Украине)</li></ul> <div> <a href="https://jobs.dou.ua/companies/introduct/vacancies/361821/#reply-btn-id">Откликнуться на вакансию</a> </div>