Старший Data Engineer

Что предстоит делать

<h3>О TechBar</h3><p><strong>TechBar</strong> — компания, предоставляющая услуги в сфере разработки программного обеспечения, работающая с клиентами в США и Европе. Мы поддерживаемся инвесторами, стабильно растём и известны тем, что ставим опытных, вдумчивых инженеров на передний край работы с нашими клиентами.</p><p>Мы ищем <strong>Senior Data Engineer</strong>, чтобы присоединиться к команде нашего клиента — фирмы по управлению благосостоянием, которая модернизирует свою платформу данных с использованием <strong>Databricks и AWS</strong>.</p><h3>О проекте</h3><p>Вы будете проектировать, создавать и поддерживать надёжные конвейеры данных и модели lakehouse, которые обеспечивают аналитику, отчётность и данные-продукты по всему бизнесу.</p><p>Платформа обрабатывает финансовые данные, включая клиентские портфели, транзакции, позиции и показатели эффективности. Некоторые инициативы могут включать миграцию существующих рабочих нагрузок с Snowflake на Databricks.</p><h3>Обязанности</h3><ul><li><strong>Создание lakehouse:</strong> Проектирование и разработка масштабируемых пакетных и потоковых конвейеров на Databricks с использованием Spark и Delta Lake в соответствии с архитектурой medallion (Bronze / Silver / Gold).</li><li><strong>Ответственность за данные на AWS:</strong> Работа с S3, IAM и связанными сервисами AWS для приёма, хранения и защиты данных из внутренних систем и сторонних поставщиков финансовых данных.</li><li><strong>Моделирование для бизнеса:</strong> Создание чистых, масштабируемых и хорошо документированных моделей данных для аналитики, отчётности и нижестоящих потребителей.</li><li><strong>Обеспечение качества и доверия к данным:</strong> Внедрение проверок качества данных, мониторинга и lineage. Управление доступом и governance с использованием Unity Catalog.</li><li><strong>Оптимизация производительности и затрат:</strong> Настройка заданий Spark, конфигураций кластеров и схем хранения для повышения производительности и контроля облачных затрат.</li><li><strong>Автоматизация доставки:</strong> Применение практик CI/CD и infrastructure-as-code к рабочим процессам и средам Databricks.</li><li><strong>Поддержка миграции:</strong> Оценка и миграция конвейеров данных, моделей и рабочих нагрузок с Snowflake на Databricks по мере необходимости.</li><li><strong>Сотрудничество:</strong> Тесная работа с аналитиками, data scientists и бизнес-стейкхолдерами для преобразования требований в надёжные решения для данных.</li></ul><h3>Требования</h3><ul><li>6+ лет опыта в data engineering, включая значительный практический опыт работы с Databricks в production.</li><li>Глубокие знания Apache Spark / PySpark и продвинутого SQL.</li><li>Уверенные навыки Python для data engineering.</li><li>Практический опыт работы с AWS как базовой облачной платформой для систем данных, включая S3, IAM и связанные сервисы данных.</li><li>Опыт работы с Delta Lake и архитектурой lakehouse / medallion.</li><li>Опыт создания моделей данных для аналитики и отчётности.</li><li>Опыт работы с CI/CD, Git и production-операциями с данными, включая мониторинг, устранение неполадок и настройку производительности.</li><li>Способность владеть конвейерами данных end-to-end, от проектирования и реализации до production-поддержки.</li><li>Глубокое понимание качества данных, безопасности, governance и оптимизации затрат.</li><li>Отличные коммуникативные навыки со способностью сотрудничать как с техническими, так и с нетехническими стейкхолдерами.</li><li>Способность работать самостоятельно и проактивно в распределённой команде.</li><li>Свободный английский.</li><li><strong>В настоящее время проживаете в Соединённых Штатах или Соединённом Королевстве.</strong></li></ul><h3>Технологический стек</h3><p><strong>Платформа данных</strong></p><ul><li>Databricks</li><li>Apache Spark / PySpark</li><li>Delta Lake</li><li>Unity Catalog</li><li>Databricks Workflows</li><li>Delta Live Tables</li></ul><p><strong>Облачная инфраструктура</strong></p><ul><li>AWS S3</li><li>IAM</li><li>AWS Glue</li><li>AWS Lambda</li><li>Kinesis / MSK</li><li>CloudWatch</li></ul><p><strong>Языки</strong></p><ul><li>Python</li><li>SQL</li><li>Scala (плюс)</li></ul><p><strong>Инженерные практики и инструменты</strong></p><ul><li>Git</li><li>CI/CD</li><li>Terraform или Databricks Asset Bundles</li><li>Фреймворки качества данных</li><li>Оркестрация с помощью Databricks Workflows или Airflow</li></ul><p><strong>Смежные технологии</strong></p><ul><li>Snowflake (контекст миграции)</li><li>dbt</li><li>BI-инструменты, используемые нижестоящими потребителями</li></ul><h3>Будет плюсом</h3><ul><li>Опыт миграции с Snowflake на Databricks или работы над другими крупномасштабными миграциями платформ данных.</li><li>Опыт работы с governance и управлением доступом в Unity Catalog.</li><li>Опыт создания потоковых конвейеров с использованием Structured Streaming, Kafka или Kinesis.</li><li>Опыт работы с Terraform или Databricks Asset Bundles.</li><li>Опыт работы с dbt.</li><li>Сертификации Databricks: Data Engineer Associate или Professional.</li><li>Опыт в управлении благосостоянием, управлении активами или более широком финансовом секторе, особенно с портфелями, позициями, транзакциями, рыночными данными и справочными данными.</li><li>Опыт работы с регулируемыми или конфиденциальными данными, включая PII, требования соответствия и аудита.</li></ul><h3>Что мы предлагаем</h3><ul><li><strong>20 оплачиваемых дней отпуска</strong> в год.</li><li><strong>10 оплачиваемых дней по болезни</strong> в год.</li><li><strong>6 дополнительных специальных выходных дней</strong> в год.</li><li><strong>Оборудование, предоставляемое компанией</strong>, чтобы у вас было всё необходимое для эффективной работы.</li><li>Возможность внести вклад в современную платформу данных на Databricks и AWS в сфере финансовых услуг.</li><li>Долгосрочная возможность в международной распределённой команде.</li></ul><h3>Локация</h3><p><strong>Мы рассматриваем кандидатов, проживающих только в Соединённых Штатах и Соединённом Королевстве.</strong></p><p>Если вы Senior Data Engineer с сильным опытом работы с Databricks, Spark / PySpark, Python, SQL и AWS, которому нравится брать на себя ответственность за решения для данных end-to-end, мы будем рады услышать от вас!</p> <div> <a href="https://jobs.dou.ua/companies/techbar/vacancies/377341/#reply-btn-id">Откликнуться на вакансию</a> </div>