Data Engineer (Databricks)

Что предстоит делать

<h3>О РОЛИ:</h3><p>В этой роли ты будешь создавать масштабируемые и эффективные решения для работы с данными на платформе Databricks Lakehouse в Azure-средах. Ты будешь работать с пакетными и потоковыми конвейерами обработки данных, участвовать в инициативах по оптимизации платформы данных и сотрудничать с техническими и бизнес-стейкхолдерами для создания надёжных, готовых к продуктивному использованию решений на разных этапах жизненного цикла проекта.</p><h3>ОБЯЗАННОСТИ:</h3><ul><li>проектировать, разрабатывать и поддерживать масштабируемые пакетные и потоковые ETL-конвейеры на платформе Databricks Lakehouse;</li><li>создавать и оптимизировать решения для обработки данных с помощью PySpark, Python и SQL;</li><li>настраивать и поддерживать Databricks clusters и SQL Warehouses;</li><li>внедрять и поддерживать практики управления данными с помощью Unity Catalog, включая контроль доступа, отслеживание происхождения данных и обмен данными между рабочими пространствами;</li><li>разрабатывать и внедрять решения для работы с данными с использованием Databricks Asset Bundles и CI/CD-процессов;</li><li>проектировать и поддерживать архитектуры Lakehouse уровней bronze—silver—gold на базе Delta Lake;</li><li>предоставлять доступ к данным и визуализировать их с помощью Databricks SQL и BI-инструментов, в частности Power BI;</li><li>сотрудничать с техническими и бизнес-стейкхолдерами для сбора требований и создания эффективных решений;</li><li>участвовать в архитектурных обсуждениях и способствовать непрерывному совершенствованию подходов и процессов команды;</li><li>поддерживать внедрение и использование современных возможностей Databricks AI/BI, в частности Dashboards, Metric Views, MLflow, Genie и агентов, где это уместно.</li></ul><h3>ТРЕБОВАНИЯ:</h3><ul><li>более 5 лет опыта в Data Engineering, включая проектирование моделей данных и масштабируемых ETL-конвейеров;</li><li>экспертиза в PySpark, Python и SQL, включая оптимизацию производительности;</li><li>практический опыт работы с Databricks, в частности clusters и SQL Warehouses;</li><li>знание практик управления данными в Unity Catalog, включая гранулярный контроль доступа, lineage и обмен данными;</li><li>опыт создания комплексных решений для работы с данными с использованием Databricks Asset Bundles и CI/CD-практик;</li><li>понимание Delta Lake и концепций Lakehouse-архитектуры;</li><li>опыт работы с Databricks SQL и BI-инструментами, в частности Power BI;</li><li>сильные навыки коммуникации и сотрудничества с техническими и бизнес-стейкхолдерами;</li><li>уровень английского Upper-Intermediate или выше;</li><li>знание инструментов Databricks AI/BI, таких как MLflow, Dashboards, Metric Views, Genie или агенты, будет преимуществом;</li><li>опыт работы с сервисами Azure для данных, такими как ADF, Synapse, ADLS, Azure DevOps или Microsoft Fabric, будет преимуществом.</li></ul><h3>О НАС:</h3><p>SoftServe — глобальная компания в сфере цифровой инженерии и технологического консалтинга. Здесь экспертиза сочетается с культурой, в центре которой — люди. Уже более 30 лет мы помогаем организациям преодолевать сложные бизнес-вызовы. Мы объединяем глубокую инженерную экспертизу с продуманными инновациями, опирающимися на исследования.</p><p>Наши команды работают в направлениях цифровой инженерии, аналитики данных, облачных технологий и AI/ML. Мы создаём практичные и масштабируемые технологические решения, которые отвечают реальным потребностям бизнеса и приносят пользу людям. Среди наших клиентов — компании из разных индустрий: высоких технологий, финансовых сервисов, здравоохранения, фармацевтики и биотехнологий, ритейла, энергетики и производства. Для нас важны качество решений, их влияние и люди, благодаря которым эта работа становится возможной.</p><p>Нас отличает то, как мы работаем вместе. Ты приносишь свой взгляд и амбиции — мы создаём среду, где можно уверенно двигаться вперёд и строить решения, которые имеют значение.</p><h3>МЫ ПРЕДЛАГАЕМ:</h3><ul><li>Гибкий график: работай из дома, из офиса или в гибридном формате — так, чтобы сохранять фокус и оставаться на связи с командой.</li><li>Компенсация и преимущества: конкурентное вознаграждение, соответствующее роли, локации и рынку.</li><li>Также — медицинское страхование, оплачиваемый отпуск, поддержка физического и ментального здоровья и возможности для обучения.</li><li>Лидерство с фокусом на людей: ты работаешь с лидерами, открытыми к диалогу, которые объясняют контекст и помогают командам двигаться в одном направлении.</li><li>Технологические сообщества: присоединяйся к сообществам по AI/ML, Cloud, Quantum Computing, IoT и Robotics, а также к проектам, основанным на современных фреймворках и технологиях.</li></ul><p><em>SoftServe — компания равных возможностей. Мы открыты к трудоустройству всех квалифицированных кандидатов и кандидаток, независимо от расы, цвета кожи, вероисповедания, возраста, пола, национальности, инвалидности, сексуальной ориентации, гендерной идентичности и самовыражения, ветеранского статуса и других защищённых признаков, в соответствии с действующим законодательством. Становись частью SoftServe и делай то, что драйвит!</em></p> <div> <a href="https://jobs.dou.ua/companies/softserve/vacancies/376192/#reply-btn-id">Откликнуться на вакансию</a> </div>