Data Engineer (Databricks)

Что предстоит делать

<h3>О РОЛИ: </h3><p>В этой роли ты будешь создавать масштабируемые и эффективные решения для работы с данными на платформе Databricks Lakehouse в Azure-средах. Ты будешь работать с пакетными и потоковыми конвейерами обработки данных, поддерживать инициативы по оптимизации платформы данных и сотрудничать с техническими и бизнес-стейкхолдерами для создания надежных, готовых к продакшену решений на различных этапах жизненного цикла проекта. </p><h3>ОБЯЗАННОСТИ: </h3><ul><li>проектировать, разрабатывать и поддерживать масштабируемые пакетные и потоковые ETL-конвейеры на платформе Databricks Lakehouse; </li><li>создавать и оптимизировать решения для обработки данных с помощью PySpark, Python и SQL; </li><li>настраивать и поддерживать Databricks clusters и SQL Warehouses; </li><li>внедрять и поддерживать практики управления данными с помощью Unity Catalog, включая контроль доступа, отслеживание происхождения данных и межворкспейсный обмен данными; </li><li>разрабатывать и развертывать решения для работы с данными с использованием Databricks Asset Bundles и CI/CD-процессов; </li><li>проектировать и поддерживать архитектуры Lakehouse уровней bronze, silver и gold на базе Delta Lake; </li><li>предоставлять доступ к данным и визуализировать их с помощью Databricks SQL и BI-инструментов, в частности Power BI; </li><li>сотрудничать с техническими и бизнес-стейкхолдерами для понимания требований и создания эффективных решений для работы с данными; </li><li>участвовать в архитектурных обсуждениях и способствовать инициативам по непрерывному совершенствованию в команде; </li><li>поддерживать внедрение и использование современных возможностей Databricks AI/BI, включая Dashboards, Metric Views, MLflow, Genie и агентов, где это уместно. </li></ul><h3>ТРЕБОВАНИЯ: </h3><ul><li>5+ лет опыта в Data Engineering, включая проектирование моделей данных и масштабируемых ETL-конвейеров; </li><li>уверенная экспертиза в PySpark, Python и SQL, включая настройку производительности и оптимизацию; </li><li>практический опыт работы с Databricks, включая clusters и SQL Warehouses; </li><li>практические знания возможностей управления данными в Unity Catalog, включая детальный контроль доступа, data lineage и data sharing; </li><li>опыт создания комплексных решений для работы с данными с использованием Databricks Asset Bundles и CI/CD-практик; </li><li>глубокое понимание концепций Delta Lake и архитектуры Lakehouse; </li><li>опыт работы с Databricks SQL и BI-инструментами, такими как Power BI; </li><li>сильные навыки коммуникации и сотрудничества с техническими и бизнес-стейкхолдерами; </li><li>уровень английского Upper-Intermediate или выше; </li><li>знакомство с инструментами Databricks AI/BI, такими как MLflow, Dashboards, Metric Views, Genie или агенты, будет преимуществом; </li><li>опыт работы с сервисами Azure для данных, такими как ADF, Synapse, ADLS, Azure DevOps или Microsoft Fabric, будет преимуществом. </li></ul><h3>О НАС: </h3><p>SoftServe — глобальная компания в сфере цифровой инженерии и технологического консалтинга. Здесь экспертиза сочетается с культурой, в центре которой — люди. Уже более 30 лет мы помогаем организациям преодолевать сложные бизнес-вызовы. Сочетаем глубокую инженерную экспертизу с продуманными инновациями, опирающимися на исследования.</p><p>Наши команды работают в направлениях цифровой инженерии, аналитики данных, облачных технологий и AI/ML. Создаем практичные и масштабируемые технологические решения, отвечающие реальным потребностям бизнеса и приносящие пользу людям. Среди наших клиентов — компании из различных индустрий: высоких технологий, финансовых сервисов, здравоохранения, фармацевтики и биотехнологий, ритейла, энергетики и производства. Для нас важны качество решений, их влияние и люди, благодаря которым эта работа становится возможной.</p><p>Нас отличает то, как мы работаем вместе. Ты приносишь свой взгляд и амбиции — мы создаем среду, где можно уверенно двигаться вперед и строить решения, которые имеют значение. </p><h3>МЫ ПРЕДЛАГАЕМ: </h3><ul><li>Гибкий график: Работай из дома, из офиса или в гибридном формате — так, чтобы сохранять фокус и оставаться на связи с командой.</li><li>Компенсация и преимущества: Конкурентное вознаграждение, соответствующее роли, локации и рынку. Также — медицинское страхование, оплачиваемый отпуск, поддержка физического и ментального здоровья и возможности для обучения.</li><li>Лидерство с фокусом на людей: Ты работаешь с лидерами, открытыми к диалогу, которые объясняют контекст и помогают командам двигаться в одном направлении.</li><li>Технологические сообщества: Присоединяйся к сообществам по AI/ML, Cloud, Quantum Computing, IoT и Robotics, а также к проектам, основанным на современных фреймворках и технологиях. </li></ul><p><em>SoftServe — компания равных возможностей. Мы открыты к трудоустройству всех квалифицированных кандидатов и кандидаток, независимо от расы, цвета кожи, вероисповедания, возраста, пола, национальности, инвалидности, сексуальной ориентации, гендерной идентичности и самовыражения, ветеранского статуса и других защищенных признаков, в соответствии с действующим законодательством. Становись частью SoftServe и делай то, что драйвит! </em></p> <div> <a href="https://jobs.dou.ua/companies/softserve/vacancies/370039/#reply-btn-id">Откликнуться на вакансию</a> </div>