Старший Data Engineer (Databricks, PySpark)

Что предстоит делать

<p>Вы — Senior Data Engineer, увлеченный созданием масштабируемых высокопроизводительных платформ данных и работой с современными Lakehouse-технологиями? Присоединяйтесь к Data Engineering Center of Excellence в Sigma Software и внесите вклад в модернизацию аналитической экосистемы enterprise-уровня в сфере retail.<br>Мы ищем Senior-специалиста с глубокой экспертизой в Databricks, PySpark и cloud data engineering для участия в миграции крупномасштабной аналитической платформы с BigQuery на Databricks. Вы будете сотрудничать с международными командами, участвовать в архитектурных решениях и помогать создавать надежные и масштабируемые решения для работы с данными.<br>В Sigma Software мы создаем возможности для непрерывного обучения, технологического роста и значимого инженерного влияния, работая над сложными международными проектами.</p><p><strong>ЗАКАЗЧИК</strong></p><p>Наш заказчик — ведущая компания в сфере retail technology, специализирующаяся на AI-решениях для оптимизации ценообразования для enterprise-ритейлеров. Компания помогает бизнесу повышать прибыльность и конкурентоспособность за счет продвинутой аналитики, автоматизации и интеллектуальных стратегий ценообразования. Их платформа сочетает business intelligence со сложными алгоритмами для поддержки решений по ценообразованию, основанных на данных, в глобальных розничных организациях.</p><p><strong>ПРОЕКТ</strong></p><p>Проект сосредоточен на стратегической миграции крупномасштабной аналитической платформы с устаревшей экосистемы BigQuery на современную архитектуру Databricks Lakehouse. Платформа обрабатывает большие объемы розничных данных, machine learning workloads, аналитические конвейеры и специфичную для заказчика бизнес-логику.<br>В рамках инициативы по модернизации инженерная команда внедряет масштабируемую обработку на основе Spark, архитектуру Delta Lake, медальонные слои данных и современные практики управления. Роль предоставляет возможность работать с распределенными системами обработки данных, оптимизировать крупномасштабные нагрузки и вносить вклад в развитие корпоративной платформы данных.</p><p>Ключевые технологии: Databricks, Apache Spark, PySpark, Delta Lake, Python, SQL, Airflow, GCP, CI/CD, Unity Catalog</p><p><strong>Описание вакансии</strong></p><ul><li>Участвовать в миграции крупномасштабной аналитической платформы с BigQuery на Databricks</li><li>Проектировать и внедрять масштабируемые Lakehouse-архитектуры с использованием Databricks и Delta Lake</li><li>Анализировать существующие ETL / ELT workloads и определять подходы к миграции</li><li>Разрабатывать и оптимизировать конвейеры данных, обрабатывающие большие объемы розничных и аналитических данных</li><li>Внедрять стратегии инкрементальной обработки и масштабируемые фреймворки трансформации</li><li>Создавать и поддерживать решения для обработки данных на основе Spark с использованием PySpark</li><li>Проектировать и поддерживать слои медальонной архитектуры, включая Bronze, Silver и Gold</li><li>Внедрять лучшие практики управления данными и безопасности с использованием Unity Catalog</li><li>Сотрудничать с командами Data Science, Analytics, Product и Customer Engineering</li><li>Участвовать в архитектурных обсуждениях и проектировании технических решений</li><li>Разрабатывать переиспользуемые компоненты платформы данных и инженерные стандарты</li><li>Проводить code reviews и способствовать надежности и поддерживаемости платформы</li><li>Устранять неполадки и оптимизировать сложные SQL и Spark workloads</li><li>Поддерживать production-развертывания и мероприятия по модернизации платформы</li></ul><p><strong>Квалификация</strong></p><ul><li>5+ лет профессионального опыта в роли Data Engineer</li><li>Сильные навыки программирования на Python и продвинутый SQL</li><li>Практический коммерческий опыт работы с Databricks</li><li>Глубокие знания Apache Spark, преимущественно PySpark</li><li>Опыт проектирования и создания современных облачных платформ данных</li><li>Опыт разработки ETL / ELT конвейеров и решений для крупномасштабной обработки данных</li><li>Практический опыт работы с Delta Lake</li><li>Опыт работы со Spark Declarative Pipelines</li><li>Опыт мониторинга кластеров, анализа метрик и оптимизации производительности</li><li>Глубокое понимание архитектур распределенной обработки данных</li><li>Понимание концепций хранилищ данных и размерного моделирования</li><li>Опыт работы с Airflow или аналогичными инструментами оркестрации</li><li>Опыт оптимизации сложных аналитических SQL workloads</li><li>Опыт внедрения практик CI / CD для платформ data engineering</li><li>Сильные навыки устранения неполадок и оптимизации производительности</li><li>Способность эффективно работать в кросс-функциональных международных командах</li><li>Уровень английского — Upper-Intermediate или выше</li></ul><p><strong>Будет плюсом</strong></p><ul><li>Опыт работы с облачными сервисами GCP</li><li>Опыт работы с облачными платформами AWS или Azure</li><li>Опыт в сферах розничной аналитики или оптимизации ценообразования</li><li>Опыт поддержки machine learning или AI-связанных нагрузок данных</li><li>Опыт модернизации платформ и инициатив по облачной миграции</li></ul><p><strong>Личностный профиль</strong></p><ul><li>Сильное аналитическое мышление и подход к решению проблем</li><li>Проактивный подход и нацеленность на результат</li><li>Способность работать как самостоятельно, так и в команде</li><li>Хорошие коммуникативные навыки и навыки взаимодействия с заинтересованными сторонами</li><li>Увлеченность масштабируемым data engineering и современными платформами данных</li><li>Интерес к непрерывному обучению и технологическим инновациям</li></ul><p>________________________________________________________________________________</p><p>Вы — Senior Data Engineer, увлеченный построением масштабируемых высокопроизводительных платформ данных и работой с современными Lakehouse-технологиями? Присоединяйтесь к Data Engineering Center of Excellence в Sigma Software и участвуйте в модернизации аналитической экосистемы enterprise-уровня в сфере retail.</p><p>Мы ищем Senior-специалиста с глубокой экспертизой в Databricks, PySpark и cloud data engineering для участия в миграции крупной аналитической платформы с BigQuery на Databricks. Вы будете сотрудничать с международными командами, участвовать в архитектурных решениях и помогать создавать надежные и масштабируемые решения для работы с данными.</p><p>В Sigma Software мы создаем возможности для непрерывного обучения, профессионального развития и значимого влияния на инженерные решения во время работы над сложными международными проектами.</p><p><strong>Заказчик</strong></p><p>Наш заказчик — ведущая компания в сфере retail technology, специализирующаяся на AI-решениях для оптимизации ценообразования для enterprise-ритейлеров. Компания помогает бизнесу повышать прибыльность и конкурентоспособность благодаря продвинутой аналитике, автоматизации и интеллектуальным стратегиям ценообразования. Их платформа сочетает business intelligence со сложными алгоритмами для поддержки решений по ценообразованию, основанных на данных, в глобальных розничных организациях.</p><p><strong>Проект</strong></p><p>Проект сосредоточен на стратегической миграции крупной аналитической платформы с устаревшей экосистемы BigQuery на современную архитектуру Databricks Lakehouse. Платформа обрабатывает большие объемы розничных данных, machine learning workloads, аналитические конвейеры и специфичную для заказчика бизнес-логику.</p><p>В рамках инициативы по модернизации инженерная команда внедряет масштабируемую обработку на основе Spark, архитектуру Delta Lake, медальонные слои данных и современные практики управления. Роль предоставляет возможность работать с распределенными системами обработки данных, оптимизировать крупномасштабные нагрузки и вносить вклад в развитие корпоративной платформы данных.</p><p>Ключевые технологии: Databricks, Apache Spark, PySpark, Delta Lake, Python, SQL, Airflow, GCP, CI/CD, Unity Catalog</p><p><strong>Обязанности</strong></p><ul><li>Участвовать в миграции крупной аналитической платформы с BigQuery на Databricks</li><li>Проектировать и внедрять масштабируемые Lakehouse-архитектуры с использованием Databricks и Delta Lake</li><li>Анализировать существующие ETL / ELT workloads и определять подходы к миграции</li><li>Разрабатывать и оптимизировать конвейеры данных для обработки больших объемов розничных и аналитических данных</li><li>Внедрять стратегии инкрементальной обработки и масштабируемые фреймворки трансформации</li><li>Создавать и поддерживать решения для обработки данных на основе Spark с использованием PySpark</li><li>Проектировать и поддерживать слои медальонной архитектуры, включая Bronze, Silver и Gold</li><li>Внедрять лучшие практики управления данными и безопасности с использованием Unity Catalog</li><li>Сотрудничать с командами Data Science, Analytics, Product и Customer Engineering</li><li>Участвовать в архитектурных обсуждениях и проектировании технических решений</li><li>Разрабатывать переиспользуемые компоненты платформы данных и инженерные стандарты</li><li>Проводить code reviews и способствовать повышению надежности и поддерживаемости платформы</li><li>Устранять неполадки и оптимизировать сложные SQL и Spark workloads</li><li>Поддерживать production-развертывания и мероприятия по модернизации платформы</li></ul><p><strong>Требования</strong></p><ul><li>5+ лет профессионального опыта на позиции Data Engineer</li><li>Сильные навыки программирования на Python и продвинутый SQL</li><li>Практический коммерческий опыт работы с Databricks</li><li>Глубокие знания Apache Spark, преимущественно PySpark</li><li>Опыт проектирования и построения современных облачных платформ данных</li><li>Опыт разработки ETL / ELT конвейеров и решений для крупномасштабной обработки данных</li><li>Практический опыт работы с Delta Lake</li><li>Опыт работы со Spark Declarative Pipelines</li><li>Опыт мониторинга кластеров, анализа метрик и оптимизации производительности</li><li>Глубокое понимание архитектур распределенной обработки данных</li><li>Понимание концепций хранилищ данных и размерного моделирования</li><li>Опыт работы с Airflow или подобными инструментами оркестрации</li><li>Опыт оптимизации сложных аналитических SQL workloads</li><li>Опыт внедрения практик CI / CD для платформ data engineering</li><li>Сильные навыки устранения неполадок и оптимизации производительности</li><li>Умение эффективно сотрудничать в кросс-функциональных международных командах</li><li>Уровень английского — Upper-Intermediate или выше</li></ul><p><strong>Будет плюсом</strong></p><ul><li>Опыт работы с облачными сервисами GCP</li><li>Опыт работы с облачными платформами AWS или Azure</li><li>Опыт в сферах розничной аналитики или оптимизации ценообразования</li><li>Опыт поддержки machine learning или AI-связанных нагрузок данных</li><li>Опыт модернизации платформ и инициатив по облачной миграции</li></ul><p><strong>Личностные качества</strong></p><ul><li>Сильное аналитическое мышление и подход к решению проблем</li><li>Проактивный подход и нацеленность на результат</li><li>Способность работать как самостоятельно, так и в команде</li><li>Хорошие коммуникативные навыки и навыки взаимодействия с заинтересованными сторонами</li><li>Увлеченность масштабируемым data engineering и современными платформами данных</li><li>Интерес к непрерывному обучению и технологическим инновациям</li></ul><div><a href="https://jobs.dou.ua/companies/sigma-software/vacancies/369285/#reply-btn-id">Откликнуться на вакансию</a></div>