Data Engineer (Databricks)

Что предстоит делать

<p><strong>О РОЛИ: </strong></p><p>В этой роли ты будешь разрабатывать и поддерживать надёжные решения для работы с данными на базе Databricks и Azure. Ты будешь работать с пакетными и потоковыми конвейерами обработки данных, поддерживать процессы обработки и оптимизации данных, а также сотрудничать с командой для создания готовых к продуктивному использованию решений. </p><h3>ОБЯЗАННОСТИ: </h3><ul><li>разрабатывать и поддерживать пакетные и потоковые ETL-конвейеры на платформе Databricks Lakehouse; </li><li>создавать и оптимизировать решения для обработки данных с помощью PySpark, Python и SQL; </li><li>работать с кластерами Databricks, SQL Warehouses и Delta Lake; </li><li>поддерживать архитектуры Lakehouse по модели bronze-silver-gold; </li><li>применять практики управления данными с помощью Unity Catalog; </li><li>разрабатывать и внедрять решения для работы с данными с применением CI/CD-процессов; </li><li>работать с Databricks SQL и BI-инструментами, в частности Power BI; </li><li>сотрудничать с членами команды и стейкхолдерами для сбора требований и внедрения решений для работы с данными; </li><li>участвовать в решении технических проблем, оптимизации производительности и инициативах по непрерывному совершенствованию. </li></ul><h3>ТРЕБОВАНИЯ: </h3><ul><li>более 4 лет профессионального опыта в Data Engineering; </li><li>практический опыт работы с Databricks и Azure; </li><li>уверенные знания PySpark, Python и SQL; </li><li>опыт разработки и поддержки ETL/ELT-конвейеров обработки данных; </li><li>понимание концепций Delta Lake и архитектуры Lakehouse; </li><li>опыт работы с кластерами Databricks и SQL Warehouses; </li><li>базовые или практические знания Unity Catalog и принципов управления данными; </li><li>понимание практик CI/CD для решений в сфере данных; </li><li>уровень английского языка Upper-Intermediate или выше; </li><li>развитые навыки коммуникации и сотрудничества; </li><li>опыт работы с сервисами Azure, такими как ADF, Synapse, ADLS, Azure DevOps, Microsoft Fabric, будет преимуществом; </li><li>знание Databricks AI/BI, в частности MLflow, Dashboards, Metric Views или Genie, будет преимуществом. </li></ul><h3>О НАС: </h3><p>SoftServe — глобальная компания в сфере цифровой инженерии и технологического консалтинга. Здесь экспертиза сочетается с культурой, в центре которой — люди. Уже более 30 лет мы помогаем организациям преодолевать сложные бизнес-вызовы. Мы объединяем глубокую инженерную экспертизу с продуманными инновациями, опирающимися на исследования.</p><p>Наши команды работают в направлениях цифровой инженерии, аналитики данных, облачных технологий и AI/ML. Мы создаём практичные и масштабируемые технологические решения, которые отвечают реальным потребностям бизнеса и приносят пользу людям. Среди наших клиентов — компании из разных индустрий: высоких технологий, финансовых сервисов, здравоохранения, фармацевтики и биотехнологий, ритейла, энергетики и производства. Для нас важны качество решений, их влияние и люди, благодаря которым эта работа становится возможной.</p><p>Нас отличает то, как мы работаем вместе. Ты приносишь свой взгляд и амбиции — мы создаём среду, где можно уверенно двигаться вперёд и строить решения, которые имеют значение. </p><h3>МЫ ПРЕДЛАГАЕМ: </h3><ul><li>Гибкий график: работай из дома, из офиса или в гибридном формате — так, чтобы сохранять фокус и оставаться на связи с командой. </li><li>Компенсация и преимущества: конкурентное вознаграждение, соответствующее роли, локации и рынку. </li><li>Также — медицинское страхование, оплачиваемый отпуск, поддержка физического и ментального здоровья и возможности для обучения. </li><li>Лидерство с фокусом на людей: ты работаешь с лидерами, открытыми к диалогу, которые объясняют контекст и помогают командам двигаться в одном направлении. </li><li>Технологические сообщества: присоединяйся к сообществам по AI/ML, Cloud, Quantum Computing, IoT и Robotics, а также к проектам, основанным на современных фреймворках и технологиях. </li></ul><p><em>SoftServe — компания равных возможностей. Мы открыты к трудоустройству всех квалифицированных кандидатов и кандидаток, независимо от расы, цвета кожи, вероисповедания, возраста, пола, национальности, инвалидности, сексуальной ориентации, гендерной идентичности и самовыражения, ветеранского статуса и других защищённых признаков, в соответствии с действующим законодательством. Становись частью SoftServe и делай то, что драйвит! </em></p> <div> <a href="https://jobs.dou.ua/companies/softserve/vacancies/376196/#reply-btn-id">Откликнуться на вакансию</a> </div>