Старший Data Engineer

Что предстоит делать

<p>Вы увлечены созданием передовых, AI-ready дата-платформ с нуля? Мы ищем Senior Data Engineer для присоединения к нашей команде Data Engineering, чтобы возглавить масштабные, инновационные инициативы с нуля.</p><p>Вы будете работать над построением современных облачных дата-платформ, миграцией локальных (on-premises) легаси-систем в облако и созданием архитектурного фундамента для AI-ready дата-инфраструктуры.</p><p>В этой роли вы будете тесно сотрудничать с командами Machine Learning, Data Science и Product, выступая в качестве ключевого технического эксперта и лидера мнений. Вы также будете руководить R&amp;D-работами над agentic AI-архитектурами, событийно-ориентированными системами и <nobr>LLM-ready</nobr> дата-пайплайнами — превращая архитектурные концепции в готовые к продакшену решения.</p><p><strong>Обязанности:</strong></p><ul><li>Проектировать и создавать масштабируемые, облачные дата-платформы от концепции до продакшена</li><li>Реализовывать пайплайны для приема данных, близкого к реальному времени (near-real-time ingestion), с использованием событийно-ориентированных паттернов</li><li>Определять и внедрять стандарты платформы, включая принципы Data Lake / Lakehouse, медальонную архитектуру и дата-контракты</li><li>Рефакторить и оптимизировать существующие скрипты на Spark и PySpark для повышения производительности и удобства поддержки</li><li>Внедрять лучшие практики качества кода, тестирования и CI/CD для дата-пайплайнов</li><li>Способствовать внедрению AI-инструментов и agentic-подходов в команде дата-инженеров</li><li>Обеспечивать качество, наблюдаемость (observability) и надежность всех пайплайнов и платформ</li><li>Разрабатывать self-service инструменты и микросервисы, упрощающие использование платформы другими командами</li></ul><p><strong>Требования:</strong></p><ul><li>5+ лет коммерческого опыта в Data Engineering</li><li>Сильные навыки разработки на Python и SQL для создания и оптимизации пайплайнов</li><li>Уверенное владение Apache Spark / PySpark, включая оптимизацию запросов и настройку производительности</li><li>Практический опыт работы с Databricks (предпочтительно) или Snowflake</li><li>Опыт работы с как минимум одним крупным облачным провайдером: Azure (предпочтительно), AWS или GCP</li><li>Опыт работы с технологиями потоковой обработки данных (Kafka, Spark Structured Streaming)</li><li>Глубокое понимание ETL/ELT-паттернов, моделирования данных (dimensional, Data Vault) и построения дата-складов</li><li>Опыт работы с инструментами оркестрации (Apache Airflow, Azure Data Factory или аналоги)</li><li>Знание Infrastructure as Code (Terraform или аналоги)</li><li>Понимание требований к продакшен-решениям: надежность, масштабируемость, наблюдаемость, производительность</li><li>Уровень английского — Upper-Intermediate</li></ul><p><strong>Будет плюсом:</strong></p><ul><li>Знакомство с проектированием RAG-пайплайнов и паттернами интеграции LLM</li><li>Знание фреймворков и инструментов для data governance (Unity Catalog, Apache Atlas или подобных)</li><li>Опыт работы с dbt для трансформации и моделирования данных</li><li>Знакомство с MLflow, Feature Stores или интеграцией с ML-платформами</li></ul><p><strong>Личностный профиль:</strong></p><ul><li>Самомотивированность и проактивность в поиске улучшений</li><li>Комфортная работа в быстром и инновационном окружении</li><li>Сильное аналитическое мышление и внимание к деталям</li><li>Открытость к экспериментам с новыми технологиями и подходами</li></ul><p>______________________________________________________________________________</p><p>Вы увлечены созданием передовых, AI-ready дата-платформ с нуля? Мы ищем Senior Data Engineer, чтобы вы присоединились к нашей команде Data Engineering и возглавили масштабные, инновационные инициативы с нуля.</p><p>Вы будете работать над построением современных облачных дата-платформ, миграцией локальных (on-premises) легаси-систем в облако и созданием архитектурного фундамента для AI-ready дата-инфраструктуры.</p><p>В этой роли вы будете тесно сотрудничать с командами Machine Learning, Data Science и Product, выступая ключевым техническим экспертом и лидером мнений. Также вы будете вести R&amp;D-работы над agentic AI-архитектурами, событийно-ориентированными системами и <nobr>LLM-ready</nobr> дата-пайплайнами — превращая архитектурные концепции в готовые к продакшену решения.</p><p><strong>Обязанности:</strong></p><ul><li>Проектировать и создавать масштабируемые, облачные дата-платформы от концепции до продакшена</li><li>Реализовывать пайплайны для почти реального времени (near-real-time ingestion) с использованием событийно-ориентированных паттернов</li><li>Определять и внедрять стандарты платформы, включая принципы Data Lake / Lakehouse, медальонную архитектуру и дата-контракты</li><li>Рефакторить и оптимизировать существующие скрипты на Spark и PySpark для повышения производительности и удобства поддержки</li><li>Внедрять лучшие практики качества кода, тестирования и CI/CD для дата-пайплайнов</li><li>Способствовать внедрению AI-инструментов и agentic-подходов в команде дата-инженеров</li><li>Обеспечивать качество, наблюдаемость (observability) и надежность всех пайплайнов и платформ</li><li>Разрабатывать self-service инструменты и микросервисы, упрощающие использование платформы другими командами</li></ul><p><strong>Требования:</strong></p><ul><li>5+ лет коммерческого опыта в Data Engineering</li><li>Сильные навыки разработки на Python и SQL для создания и оптимизации пайплайнов</li><li>Уверенное владение Apache Spark / PySpark, включая оптимизацию запросов и настройку производительности</li><li>Практический опыт работы с Databricks (желательно) или Snowflake</li><li>Опыт работы с как минимум одним крупным облачным провайдером: Azure (желательно), AWS или GCP</li><li>Опыт работы с технологиями потоковой обработки данных (Kafka, Spark Structured Streaming)</li><li>Глубокое понимание ETL/ELT-паттернов, моделирования данных (dimensional, Data Vault) и построения дата-складов</li><li>Опыт работы с инструментами оркестрации (Apache Airflow, Azure Data Factory или аналогами)</li><li>Знание Infrastructure as Code (Terraform или аналогов)</li><li>Понимание требований к продакшен-решениям: надежность, масштабируемость, наблюдаемость, производительность</li><li>Уровень английского — Upper-Intermediate</li></ul><p><strong>Будет плюсом:</strong></p><ul><li>Знакомство с проектированием RAG-пайплайнов и паттернами интеграции LLM</li><li>Знание фреймворков и инструментов для data governance (Unity Catalog, Apache Atlas или подобных)</li><li>Опыт работы с dbt для трансформации и моделирования данных</li><li>Знакомство с MLflow, Feature Stores или интеграцией с ML-платформами</li></ul><p><strong>Личностный профиль:</strong></p><ul><li>Самомотивированность и проактивность в поиске улучшений</li><li>Комфортная работа в быстром и инновационном окружении</li><li>Сильное аналитическое мышление и внимание к деталям</li><li>Открытость к экспериментам с новыми технологиями и подходами</li></ul> <div> <a href="https://jobs.dou.ua/companies/sigma-software/vacancies/362589/#reply-btn-id">Откликнуться на вакансию</a> </div>