Старший Data Engineer

Что предстоит делать

<p><b>О НАШЕЙ КОМПАНИИ</b> </p><p>HBM — европейская компания, которая создаёт с нуля новые захватывающие продукты для стартапов и помогает зрелым компаниям на их пути к инновациям на основе данных и решениям на базе AI. Наша экспертиза охватывает EnergyTech, FinTech, ClimateTech, SocialTech, PropTech и другие сферы. </p><p>Основанная в Украине и развивающаяся на основе скандинавской культуры, HBM нанимает сотрудников как в Украине, так и в ЕС для наших клиентов, расположенных в Европе и США. </p><p> Наши ценности включают навыки, страсть, совершенство, равенство, открытость, взаимное уважение и доверие. </p><p> В HBM вы можете стать частью растущей компании, работать с креативными коллегами и наслаждаться современными технологиями и созданием решений на базе AI. Вы станете частью сильной корпоративной культуры в сочетании с гибкостью и адаптивностью стартапа, подкреплённой проверенными практиками аутсорсинга и разработки, человеко-ориентированной командой руководства, предпринимательским мышлением и подходом к балансу между работой и личной жизнью. </p><p> <b>ПРОЕКТ</b> </p><p>Наш клиент — исландская <b>компания в сфере климатических технологий</b>, специализирующаяся на решениях для постоянного хранения углерода. Организация разрабатывает и эксплуатирует инновационную технологию, которая улавливает и хранит CO₂, преобразуя его в стабильные минералы под землёй, помогая промышленным партнёрам сокращать выбросы и продвигать цели устойчивого развития. Компания сочетает научные инновации, масштабную операционную экспертизу и культуру, движимую миссией, направленной на решение проблемы изменения климата. </p><p>Мы ищем Senior Data Engineer, который будет отвечать за разработку, улучшение и поддержку корпоративной платформы данных и аналитических потоков данных, а также за поддержку текущей операционной работы. Роль способствует созданию максимальной ценности из данных для внутренних стейкхолдеров путём автоматизации рутинных процессов и подготовки платформы для self-service использования сотрудниками клиента. </p><p>Квалифицированный кандидат будет <b>работать совместно</b> с находящимся на месте <b>Head of Data &amp; SW Development</b> и будет заниматься долгосрочными улучшениями, автоматизацией загрузки данных и новой разработкой, связанной с платформой данных. </p><p><b>Технологический стек:</b> Databricks &amp; Lakehouse setup, SQL, Spark, Python, Terraform, Grafana. </p><p><b>МЫ ПРЕДЛАГАЕМ ВАМ СЛЕДУЮЩИЕ ИНТЕРЕСНЫЕ ЗАДАЧИ</b> </p><ul><li>Проектировать, создавать, поддерживать и улучшать пайплайны данных и компоненты платформы данных в Azure Databricks </li></ul><ul><li>Автоматизировать ручные процессы сбора, обработки данных и отчётности для повышения эффективности и качества данных </li></ul><ul><li>Разрабатывать масштабируемые решения для загрузки, трансформации и мониторинга данных с использованием Python, Spark, Terraform и cloud-native сервисов </li></ul><ul><li>Отвечать за повседневную операционную деятельность, связанную с платформой данных, включая устранение неполадок и оптимизацию пайплайнов </li></ul><ul><li>Поддерживать учёных и технических пользователей, обеспечивая возможности self-service доступа к данным и их исследования </li></ul><ul><li>Создавать надёжные решения для обработки данных, которые преобразуют лабораторные, полевые и операционные данные в достоверные датасеты </li></ul><ul><li>Улучшать наблюдаемость и мониторинг платформы с использованием Grafana и связанных инструментов </li></ul><ul><li>Тесно сотрудничать с Head of Data в вопросах планирования, приоритизации, архитектурных решений и подходов к реализации </li></ul><ul><li>Выявлять возможности для стандартизации процессов работы с данными, устранения ручной работы и увеличения внедрения практик, основанных на данных, по всей организации </li></ul><ul><li>Вносить вклад в основу для будущих возможностей работы с данными с поддержкой AI и self-service в рамках платформы Databricks </li></ul><ul><li>Документировать решения, операционные процедуры и архитектурные решения </li></ul><p> <b>МЫ ОЖИДАЕМ ОТ ВАС</b> </p><ul><li>Степень (бакалавра или магистра) в области компьютерных наук или смежной области обучения </li></ul><ul><li>6+ лет опыта работы с решениями для data engineering и пайплайнами данных </li></ul><ul><li>Сильные навыки разработки на <b>Python</b> </li></ul><ul><li>Практический опыт работы с <b>Apache Spark</b> и <b>Databricks</b> </li></ul><ul><li>Опыт создания, поддержки и устранения неполадок <b>production-grade пайплайнов данных</b> </li></ul><ul><li>Опыт работы с <b>Infrastructure as Code</b>, предпочтительно <b>Terraform</b> </li></ul><ul><li>Опыт работы с сервисами <b>Azure cloud</b> </li></ul><ul><li>Опыт работы с <b>Git-based development workflows</b> и практиками <b>CI/CD</b> </li></ul><ul><li>Понимание <b>принципов software engineering</b>, включая тестирование, поддерживаемость и операционную поддержку </li></ul><ul><li>Опыт работы с <b>Grafana</b> для мониторинга, наблюдаемости и визуализации данных </li></ul><ul><li>Способность работать самостоятельно, брать на себя ответственность и продвигать инициативы от планирования до реализации </li></ul><ul><li>Опыт <b>автоматизации ручных</b> бизнес-<b>процессов</b> с использованием данных и программных решений </li></ul><ul><li>Сильные <b>аналитические</b> навыки и навыки <b>решения проблем</b> </li></ul><ul><li>Отличные коммуникативные навыки, способность общаться с техническими и нетехническими стейкхолдерами </li></ul><ul><li>Ориентированность на действия и качество </li></ul><ul><li>Опыт работы в распределённой, кросс-культурной Agile-среде </li></ul><ul><li>Английский: upper-intermediate / advanced </li></ul><p> </p><p> <b>БУДЕТ ПЛЮСОМ</b> </p><ul><li>Опыт создания self-service платформ данных </li></ul><ul><li>Опыт работы со streaming или near real-time обработкой данных </li></ul><ul><li>Опыт работы с возможностями AI/ML в Databricks </li></ul><ul><li>Опыт оптимизации рабочих нагрузок Spark и пайплайнов обработки данных </li></ul><ul><li>Знакомство с shell scripting </li></ul><p> <b>МЫ ПРЕДЛАГАЕМ ВАМ</b> </p><ul><li>Современные технологии, разработку новых продуктов, различные бизнес-домены. </li></ul><ul><li>Гибкость стартапа в сочетании со зрелыми практиками доставки и командой менеджмента. </li></ul><ul><li>Сильный фокус на вашем техническом и личном росте. </li></ul><ul><li>Прозрачное карьерное развитие и индивидуальный план развития. </li></ul><ul><li>Гибкий режим работы (удалённо/из офиса), полная возможность удалённой работы. </li></ul><ul><li>Конкурентоспособная компенсация и социальный пакет </li></ul><ul><li>Фокус на благополучии и человеческом подходе. </li></ul><ul><li>Плоская организация, где каждого слышат и приглашают вносить вклад. </li></ul><ul><li>Подход к работе с балансом между работой и личной жизнью. </li></ul><ul><li>Страсть и удовольствие во всём, что мы делаем. </li></ul> <div> <a href="https://jobs.dou.ua/companies/hbm/vacancies/375597/#reply-btn-id">Откликнуться на вакансию</a> </div>