Старший Databricks Data Engineer

Что предстоит делать

<p>Привет! AgileEngine — компания из списка Inc. 5000, которая создает отмеченное наградами программное обеспечение для брендов из списка Fortune 500 и стартапов-первопроходцев в более чем 17 отраслях. Мы входим в число лидеров в таких областях, как разработка приложений и AI/ML, а наша культура, ориентированная на людей, принесла нам множество наград «Лучшее место для работы».</p> <p><strong>Почему стоит присоединиться к нам</strong><br>Если вы ищете место, где можно расти, оказывать влияние и работать с людьми, которым не все равно, мы будем рады познакомиться с вами! :)</p> <p><strong>О роли</strong><br>Мы ищем опытного <strong>Senior Databricks Data Engineer</strong>, который поможет модернизировать 15-летнее хранилище данных в управляемое Databricks Lakehouse. Вы будете создавать пакетные и потоковые конвейеры с помощью PySpark и Delta Lake, следуя медальонной архитектуре на уровнях bronze, silver и gold. Эта роль также предполагает использование AI-инструментов, таких как Claude и GitHub Copilot, для ускорения разработки.</p> <p><strong>Чем вы будете заниматься</strong><br>● Проектировать, создавать и эксплуатировать пакетные и потоковые конвейеры данных на Databricks с использованием PySpark, Delta Lake и Databricks Workflows.<br>● Моделировать и поддерживать медальонную (bronze/silver/gold) архитектуру, обслуживающую потребителей аналитики, отчетности и машинного обучения.<br>● Мигрировать устаревшие ETL и рабочие нагрузки хранилищ данных в Lakehouse с подтвержденным паритетом данных и минимальными сбоями в работе бизнеса.<br>● Использовать Claude или Github Copilot как ускоритель разработки: генерировать каркас кода, писать и проверять тесты, создавать документацию и прототипы решений.<br>● Писать чистый, хорошо протестированный код на Python и SQL; поддерживать высокие стандарты посредством проверки кода и документации.<br>● Оптимизировать Spark-задачи и Delta-таблицы для производительности и стоимости, включая партиционирование, кластеризацию, кэширование и выбор размера кластера.<br>● Внедрять контроль качества данных, происхождения и управления с помощью Unity Catalog и автоматизированных проверок валидации.<br>● Отлаживать, устранять неполадки и решать проблемы сбоев конвейеров, дефектов данных и инцидентов в продакшене.<br>● Участвовать в Agile или продукто-ориентированных практиках поставки, включая планирование спринтов и ретроспективы.<br>● Сотрудничать с DevOps, платформенными и аналитическими инженерами по вопросам наблюдаемости, безопасности и лучших практик соответствия требованиям.</p> <p><strong>Обязательные требования</strong><br>● <strong>4+ года профессионального опыта</strong> в инженерии данных с непосредственным опытом работы с <strong>Apache Spark</strong> и облачными архитектурами данных.<br>● Сильный практический опыт создания конвейеров данных с помощью <strong>Databricks</strong>, <strong>Apache Spark (PySpark)</strong> и <strong>Delta Lake</strong>.<br>● Продвинутые <strong>SQL</strong> и <strong>Python</strong>, с сильными навыками моделирования данных в различных измерениях и паттернах Lakehouse.<br>● Опыт потоковой загрузки с использованием <strong>Structured Streaming</strong>, <strong>Auto Loader</strong>, <strong>Kafka</strong> или <strong>Event Hubs</strong>.<br>● Опыт оркестрации рабочих процессов (<strong>Databricks Workflows</strong>, <strong>Airflow</strong> или <strong>Azure Data Factory</strong>).<br>● Опыт миграции устаревших платформ, модернизации ETL или управления гигиеной данных при переносе старых систем.<br>● Отличные навыки решения проблем, сотрудничества и коммуникации, включая наставничество младших инженеров и объяснение концепций данных нетехническим заинтересованным сторонам.<br>● Знакомство с <strong>Unity Catalog</strong>, управлением данными, контролем доступа и обработкой PII.<br>● Опыт работы с <strong>dbt</strong> или эквивалентным фреймворком трансформации.<br>● Знакомство со стандартами безопасного кодирования и отраслевыми лучшими практиками безопасности.<br>● Опыт поставки производственных платформ данных в масштабе.<br>● Уровень английского Upper-intermediate.</p> <p><strong>Желательно</strong><br>● Опыт работы с Infrastructure as Code (IaC) с использованием <strong>Terraform</strong> и CI/CD с использованием <strong>Azure DevOps</strong>.<br>● Опыт работы с реляционными базами данных (особенно <strong>PostgreSQL</strong>) и концепциями хранения данных.<br>● Знакомство с инструментами логирования и мониторинга (например, Dynatrace, CloudWatch, системные таблицы Databricks).<br>● Предпочтителен опыт работы в Agile или командной среде разработки.</p> <p><strong>Преимущества и бонусы</strong><br><span style="color: #EC9301;">● </span>Профессиональный рост: ускорьте свой профессиональный путь с помощью наставничества, TechTalks и персонализированных карт роста<br><span style="color: #EC9301;">● </span>Конкурентоспособная компенсация: мы соответствуем вашим постоянно растущим навыкам, таланту и вкладу конкурентоспособной компенсацией в USD и бюджетами на образование, фитнес и командные мероприятия<br><span style="color: #EC9301;">● </span>Выбор интересных проектов: присоединяйтесь к проектам с разработкой современных решений и клиентами высшего уровня, включая предприятия из списка Fortune 500 и ведущие продуктовые бренды<br><span style="color: #EC9301;">● </span>Гибкий график: настройте свой график для оптимального баланса между работой и личной жизнью, имея возможность работать из дома и приходить в офис — что делает вас счастливее и продуктивнее.</p> <p><strong>Познакомьтесь с нашим процессом найма</strong><br><strong>Асинхронный этап</strong> — Автоматизированный трек в вашем темпе, который помогает нам двигаться быстрее и давать вам более быструю обратную связь:<br>● Короткая онлайн-форма для подтверждения основных требований<br>● Оценка навыков на <nobr>30–60</nobr> минут<br>● <nobr>5-минутное</nobr> вступительное видео<br><strong>Синхронный этап</strong> — Живые интервью<br>● Техническое интервью с нашей инженерной командой (назначается в удобное для вас время)<br>● Финальное интервью с вашими будущими коллегами<br><strong>Если все совпало — вы получите оффер!</strong></p> <div> <a href="https://jobs.dou.ua/companies/agileengine/vacancies/371472/#reply-btn-id">Відгукнутись на вакансію</a> </div>