Старший Databricks инженер

Что предстоит делать

<p><strong>Senior Databricks Engineer</strong> <br><strong>Роль требует значительного ежедневного пересечения с командой США в рабочие часы по восточному времени США (EST). Кандидаты должны иметь возможность работать в требуемом графике US EST.</strong></p><p><strong>TechBar</strong> — компания по разработке программного обеспечения, работающая с клиентами по всей территории США и Европы. Мы поддерживаемся инвесторами, стабильно растём и известны тем, что ставим перед клиентами старших, вдумчивых инженеров.</p><p>Мы ищем опытного <strong>Senior Databricks Engineer</strong> для участия в инициативе по модернизации данных корпоративного уровня для клиента из США.</p><p>Проект сосредоточен на модернизации крупномасштабной корпоративной платформы данных в рамках более широкого пути облачной трансформации. Вы будете работать с <strong>Databricks Lakehouse Platform</strong>, создавая масштабируемые решения для данных, поддерживающие продвинутую аналитику, инициативы AI/ML и корпоративные продукты данных.</p><p>Что вы будете делать</p><ul><li>Проектировать, разрабатывать и поддерживать масштабируемые конвейеры данных с использованием <strong>Databricks, PySpark и Spark SQL</strong></li><li>Создавать надёжные процессы <strong>ETL/ELT</strong> для крупномасштабных структурированных и неструктурированных данных</li><li>Внедрять <strong>Medallion Architecture (Bronze, Silver, Gold)</strong> и решения Delta Lake</li><li>Разрабатывать решения пакетной и почти реального времени обработки данных с использованием <strong>Spark Streaming, Kafka и Delta Live Tables (DLT)</strong></li><li>Интегрировать данные из корпоративных источников, включая <strong>SAP, Teradata, Mainframe, DB2, SQL Server, Oracle, Tibco, Kafka и REST APIs</strong></li><li>Работать как в средах <strong>Microsoft Azure, так и AWS</strong> в рамках программы облачной модернизации данных клиента</li><li>Разрабатывать и поддерживать <strong>Databricks notebooks, workflows, jobs и clusters</strong></li><li>Внедрять <strong>Unity Catalog</strong>, контроль доступа, управление данными и стандарты безопасности</li><li>Поддерживать развёртывания и продвижение по средам <strong>Dev, QA, UAT и Production</strong></li><li>Оптимизировать рабочие нагрузки с точки зрения <strong>производительности, масштабируемости, надёжности и экономической эффективности</strong></li><li>Внедрять валидацию данных, сверку, мониторинг и автоматизированные фреймворки качества данных</li><li>Вносить вклад в происхождение данных, управление метаданными, соответствие требованиям и корпоративное управление данными</li><li>Создавать переиспользуемые фреймворки и автоматизацию для приёма данных, оркестрации, мониторинга и управления качеством</li><li>Тесно сотрудничать с Data Scientists, BI-разработчиками, архитекторами и бизнес-стейкхолдерами для преобразования требований в масштабируемые технические решения</li><li>Участвовать в обсуждениях архитектуры и проектирования решений</li><li>Наставлять младших инженеров и вносить вклад в лучшие инженерные практики</li><li>Участвовать в Agile-церемониях и сотрудничать с распределёнными инженерными командами</li></ul><p>Обязательные требования</p><ul><li><strong>7+ лет профессионального опыта в Data Engineering</strong></li><li>Сильный практический опыт работы с <strong>Databricks</strong></li><li><strong>Сертификация Databricks обязательна</strong>: Databricks Certified Data Engineer Associate или Professional</li><li>Сильный практический опыт работы с <strong>Microsoft Azure и AWS одновременно</strong>. Опыта только с одной облачной платформой недостаточно.</li><li>Солидный практический опыт работы с:<br><ul><li>Databricks Workflows / Jobs</li><li>Delta Lake</li><li>Delta Live Tables (DLT)</li><li>Unity Catalog</li><li>Databricks SQL</li></ul></li><li>Сильные навыки программирования на <strong>Python, PySpark, Spark SQL и SQL</strong></li><li>Сильное понимание <strong>ETL/ELT, моделирования данных, хранилищ данных и распределённой обработки данных</strong></li><li>Опыт работы с <strong>Apache Kafka, Spark Streaming и событийно-ориентированными архитектурами</strong></li><li>Практический опыт работы с <strong>Azure</strong>, в частности:<br><ul><li>Azure Databricks</li><li>Azure Data Factory</li><li>ADLS Gen2</li><li>Azure Key Vault</li></ul></li><li>Практический опыт работы с <strong>AWS</strong>, в частности:<br><ul><li>Amazon S3</li><li>IAM</li></ul></li><li>Опыт работы с корпоративными базами данных, такими как:<br><ul><li>Teradata</li><li>SQL Server</li><li>Oracle</li><li>DB2</li></ul></li><li>Опыт работы с <strong>Git и CI/CD</strong>, предпочтительно Azure DevOps или GitHub Actions</li><li>Сильные коммуникативные навыки и способность эффективно работать с техническими и нетехническими стейкхолдерами</li><li>Способность работать самостоятельно, брать на себя ответственность и вносить вклад в архитектурные решения</li></ul><p>Будет плюсом</p><ul><li>Сертификация <strong>Azure Data Engineer Associate</strong></li><li>Опыт работы над крупномасштабными программами <strong>корпоративной модернизации данных</strong></li><li>Опыт миграции рабочих нагрузок с <strong>Teradata или других устаревших платформ на Databricks</strong></li><li>Опыт работы с <strong>SAP Datasphere, SAP BW или SAP Business Data Cloud (BDC)</strong></li><li>Опыт работы с <strong>Databricks Asset Bundles</strong></li><li>Опыт работы с <strong>BigQuery или Snowflake</strong></li><li>Знакомство с <strong>рабочими нагрузками AI/ML и feature engineering на Databricks</strong></li><li>Опыт работы в средах корпоративных данных с высоким уровнем управления или регулирования</li></ul><p>Что делает этот проект интересным</p><p>Это не проект, где вы просто поддерживаете существующие конвейеры.</p><p>Вы будете вовлечены в более широкую <strong>корпоративную трансформацию данных</strong>, помогая перевести устаревшие рабочие нагрузки данных к современной облачной архитектуре. Платформа объединяет <strong>Databricks, Delta Lake, Azure, AWS, потоковые технологии, корпоративные базы данных и современные практики управления данными</strong>.</p><p>У вас будет возможность работать над задачами, связанными с большими объёмами данных, сложными интеграциями, обработкой в реальном времени, качеством данных, управлением и обеспечением сценариев использования аналитики и AI/ML.</p><p>Модель работы</p><ul><li><strong>Удалённо</strong></li><li>Сотрудничество с командой из США</li><li><strong>Рабочие часы по восточному времени США (EST) / требуется значительное пересечение</strong></li><li>Долгосрочный проект</li><li>Английский: <strong>Upper-Intermediate / Advanced</strong></li><li>Ответственность уровня senior и прямое общение с клиентом</li></ul> <div> <a href="https://jobs.dou.ua/companies/techbar/vacancies/376035/#reply-btn-id">Откликнуться на вакансию</a> </div>