Старший Data Engineer

Что предстоит делать

<p>Мы ищем Senior Data Engineer в нашу Data Engineering Team, который присоединится к развитию high-impact greenfield data initiatives. Ты будешь работать над созданием современных cloud-native data platforms, миграцией legacy on-premises systems в облако и формировать архитектурную основу для AI-ready data infrastructure.</p><p>В этой роли ты будешь тесно сотрудничать с командами Machine Learning, Data Science и Product, выступая ключевым техническим экспертом и thought leader. Также ты будешь драйвить R&amp;D-инициативы в сферах agentic AI architectures, event-driven systems и <nobr>LLM-ready</nobr> data pipelines, превращая архитектурные концепции в production-grade solutions.</p><p><strong>Обязанности</strong></p><ul><li>Проектировать и разрабатывать масштабируемые cloud-native платформы данных — от greenfield-разработки до production.</li><li>Проектировать и внедрять near-real-time pipelines для сбора и обработки данных с использованием event-driven подходов.</li><li>Определять и внедрять стандарты для data platform, в частности принципы Data Lake и Lakehouse, medallion architecture и data contracts.</li><li>Рефакторить, оптимизировать и модернизировать Spark и PySpark-скрипты для повышения производительности и поддерживаемости кода.</li><li>Внедрять best practices по качеству кода, тестированию и CI/CD для data pipelines.</li><li>Развивать использование AI-инструментов и agentic workflows в команде Data Engineering.</li><li>Обеспечивать качество, observability, масштабируемость и надёжность данных, платформ и pipeline’ов.</li><li>Проектировать и разрабатывать self-service инструменты и микросервисы, которые упрощают использование платформы.</li><li>Сотрудничать с cross-functional командами, в частности Product, Machine Learning и Data Science.</li><li>Участвовать в принятии архитектурных решений и технических R&amp;D-инициативах.</li></ul><p><strong>Требования</strong></p><ul><li>5+ лет коммерческого опыта в Data Engineering</li><li>Уверенные навыки разработки на Python и SQL</li><li>Практический опыт работы с Apache Spark и PySpark, включая оптимизацию запросов и performance tuning</li><li>Опыт работы с Databricks или Snowflake</li><li>Практический опыт работы как минимум с одним основным cloud-провайдером: Azure, AWS или GCP</li><li>Опыт работы с технологиями stream processing, в частности Kafka или Spark Structured Streaming</li><li>Глубокое понимание ETL/ELT-подходов, моделирования данных и концепций data warehousing</li><li>Опыт работы с инструментами оркестрации, такими как Apache Airflow или Azure Data Factory</li><li>Знание инструментов Infrastructure as Code, в частности Terraform</li><li>Понимание production-grade систем, включая observability, scalability, reliability и performance</li><li>Способность самостоятельно вести технические инициативы — от концепции до реализации и delivery</li><li>Сильные навыки коммуникации и командной работы</li><li>Английский на уровне Upper-Intermediate</li></ul><p><strong>Будет плюсом</strong></p><ul><li>Знакомство с разработкой RAG pipelines и подходами к интеграции LLM</li><li>Знание data governance frameworks и инструментов, таких как Unity Catalog или Apache Atlas</li><li>Опыт работы с dbt для трансформации и моделирования данных</li><li>Знакомство с MLflow, Feature Stores или интеграциями с <nobr>ML-платформами</nobr></li></ul><p><strong>Личный профиль: </strong></p><ul><li>Проактивный и самостоятельный подход к работе</li><li>Сильное аналитическое и архитектурное мышление</li><li>Способность самостоятельно работать и брать на себя ответственность за технические решения</li><li>Заинтересованность в инновациях и современных engineering practices</li><li>Готовность делиться знаниями и работать в команде</li><li>Сильные навыки решения технических проблем</li></ul> <div> <a href="https://jobs.dou.ua/companies/sigma-software/vacancies/377526/#reply-btn-id">Откликнуться на вакансию</a> </div>