Старший Data Engineer

Что предстоит делать

<p>Мы ищем Senior Data Engineer для участия в проекте data-platform нашего Клиента. Клиент — ведущая SaaS-компания в энергетической сфере, которая предоставляет высокотехнологичные инсайты и прогнозную и предписывающую аналитику, помогающую клиентам принимать решения, увеличивающие прибыль. Их технологии поддерживают производственные и инвестиционные стратегии, торговлю энергоресурсами и сырьевыми товарами и управление рисками, а также снижение затрат за счёт автоматизированных процессов в критически важных бизнес-функциях. Компания является стратегическим партнёром более чем 6 000 клиентов в 50 странах.</p><p>В этой роли вы будете проектировать и создавать надёжные, масштабируемые data pipelines на Databricks. Вы также будете разрабатывать Python back-end сервисы и интеграции в AWS. Вы будете принимать технические решения для своей области, устанавливать инженерные стандарты и наставлять инженеров уровня middle.</p><p>Эта роль подойдёт тому, кто ценит сквозную ответственность — от приёма данных до data-продуктов production-уровня с хорошим мониторингом, — и кто уверенно работает с безопасным кросс-платформенным обменом данными.</p><h3>Обязанности:</h3><ul><li>Проектировать, создавать и поддерживать масштабируемые ETL/ELT pipelines на Databricks с использованием PySpark и Delta Lake</li><li>Определять и развивать модели данных и архитектуру lakehouse (слои bronze/silver/gold)</li><li>Создавать и обеспечивать безопасность обмена данными между AWS и Databricks, используя S3 и другие AWS источники и приёмники данных</li><li>Разрабатывать Python back-end сервисы и API, которые предоставляют или потребляют data-продукты, и развёртывать их в AWS</li><li>Писать и оптимизировать сложные SQL-запросы для трансформаций, отчётности и аналитики, а также настраивать производительность как на Spark, так и на реляционных базах данных</li><li>Внедрять проверки качества данных, мониторинг, логирование и алертинг</li><li>Отвечать за CI/CD и развёртывание pipelines</li><li>Проводить code review, устанавливать стандарты кодирования и наставлять инженеров уровня Middle и Junior</li><li>Поддерживать понятную техническую документацию</li></ul><h3>Требования:</h3><ul><li>5+ лет коммерческого опыта в Data Engineering, включая 3+ года практической работы с Databricks (кластеры/jobs, notebooks, Delta Lake, Unity Catalog, Workflows)</li><li>Сильные навыки PySpark: трансформации, join'ы, оконные функции и оптимизация производительности</li><li>Подтверждённый опыт проектирования ETL/ELT pipelines, включая инкрементальные загрузки, CDC, идемпотентность и обработку ошибок и восстановление</li><li>Продвинутое знание SQL: оптимизация запросов, сложные аналитические запросы и моделирование данных (размерное, нормализованное, medallion-архитектура)</li><li>Солидный опыт работы с реляционными базами данных (PostgreSQL, MySQL или MS SQL Server)</li><li>Сильные навыки Python back-end: чистый, тестируемый код production-уровня, а также опыт создания API или сервисов (FastAPI, Flask или Django)</li><li>3+ года практического опыта работы с AWS и практическое знание S3</li><li>Опыт работы с Git, CI/CD и автоматизированным тестированием data pipelines (unit, integration, качество данных)</li><li>Способность самостоятельно проектировать решения, обосновывать архитектурные решения и наставлять других инженеров</li><li>Уровень английского — Upper-Intermediate или выше</li></ul><h3>Мы предлагаем:</h3><ul><li>Современные технологии: проекты на актуальных стеках и инструментах с возможностью изучать новые технологии и привносить лучшие инженерные подходы в свою команду</li><li>Культура ответственности: команда профессионалов, которые смотрят дальше задачи, понимают бизнес клиента и предлагают решения, делающие продукт лучше. Здесь люди отвечают за результат, заранее отмечают риски и придерживаются высоких инженерных стандартов</li><li>Профессиональный рост: возглавляйте Competence Clubs или присоединяйтесь к ним, выступайте на TechTalks, получайте оплачиваемые компанией сертификации, развивайтесь с нашей профессиональной библиотекой и обучающими платформами, а также улучшайте английский, немецкий или польский на курсах или в разговорных клубах</li><li>Гибкая работа: remote-first, обеспечение оборудованием и IT-поддержка, а также возможность работать из офисов во Львове и Жешуве</li><li>Отпуск и благополучие: 18 оплачиваемых дней отпуска, 12 оплачиваемых дней по болезни, медицинская страховка или ежемесячный бюджет на здоровье и спорт*, консультации психолога, оплачиваемый отпуск по жизненным событиям и оплачиваемый отпуск по беременности и родам. *Формат зависит от вашей модели сотрудничества</li></ul> <div> <a href="https://jobs.dou.ua/companies/edvantis/vacancies/379790/#reply-btn-id">Откликнуться на вакансию</a> </div>