Старший Data Engineer

Что предстоит делать

<p>Pine Software Technology Ltd — это IT-компания, специализирующаяся на разработке торговых технологий для регулируемых брокеров и торговых фирм. Мы создаем SaaS-продукты, которые поддерживают электронную торговлю, брокерские операции, управление рисками и анализ финансовых данных. Мы ищем Senior Data Engineer с сильным опытом в Software Engineering, который присоединится к нашей команде и возглавит унификацию нашей платформы данных.<br><br><strong>Обязанности:</strong></p><p>— Проектирование, создание и поддержка масштабируемых batch и streaming пайплайнов данных с использованием PySpark, SQL и Databricks.<br>— Внедрение и управление пайплайнами Change Data Capture (CDC) для бесшовной загрузки данных из исходных систем в платформу данных.<br>— Проектирование и развитие моделей данных с использованием Medallion Architecture (слои Bronze, Silver, Gold) в рамках Databricks Lakehouse.<br>— Предоставление, настройка и управление облачной инфраструктурой как кодом с помощью Terraform.<br>— Оптимизация сложных SQL-запросов и Spark-задач для обеспечения высокой производительности, надежности и качества данных в масштабе.<br>— Полная ответственность за разработку пайплайнов от начала до конца, включая прямое взаимодействие со стейкхолдерами для уточнения требований.<br>— Тесное сотрудничество с Data Analysts, Data Scientists и продуктовыми командами по мере нашего расширения в области аналитики, дашбордов, ML/AI и обработки данных в реальном времени.</p><p><strong>Требования:</strong></p><p>— 6+ лет общего опыта в software/data engineering с прочным фундаментом в качестве Software Engineer, перешедшего в область данных.<br>— Отличное владение <strong>Python</strong> и <strong>SQL</strong>.<br>— Подтвержденный опыт проектирования, создания и масштабирования ETL/ELT пайплайнов с использованием PySpark и Databricks.<br>— Практический опыт внедрения и управления пайплайнами Change Data Capture (CDC) и streaming.<br>— Практические знания Databricks Lakehouse, Medallion Architecture и размерного моделирования данных (Star Schema, Kimball).<br>— Практический опыт предоставления и управления инфраструктурой с помощью Terraform.<br>— Высокий уровень автономии и ответственности — способность вести задачи от идеи до завершения.<br>— Сильное продуктовое мышление и четкое понимание бизнес-ценности.<br>— Английский язык: Upper-Intermediate или выше.</p><p><strong>Будет плюсом:</strong></p><p>— Знание финансовой сферы (рынки капитала, брокерские или торговые операции).<br>— Практический опыт работы с Apache Beam или Apache Flink.</p><p><strong>Компания предлагает:</strong></p><p>Забота с первого дня — медицинская страховка с первого дня работы, включая стоматологию, услуги массажа и профессиональную психологическую поддержку.<br>Баланс работы и личной жизни — 25 дней оплачиваемого отпуска + 30 дней оплачиваемого больничного<br>Инвестиции в вашу энергию — Частичная компенсация расходов на спорт и фитнес.<br>Рост и обучение — Оплата курсов английского или украинского языка и выделенный бюджет на профессиональное развитие<br>Библиотека знаний — Доступ к офисным книгам и онлайн-библиотеке Kuka.<br>Отдых на острове — До 14 дней в году на корпоративной вилле на Кипре.</p><p>Присоединяйтесь к команде Pine Software, где ваши таланты и стремления будут оценены по достоинству. Мы предлагаем динамичную рабочую среду, возможности для профессионального роста и поддержку на каждом этапе вашего карьерного пути.<br>Начните свой путь с нами — откликнитесь сегодня и сделайте первый шаг к вашему светлому будущему!<br>Pine Software — работодатель, предоставляющий равные возможности. Мы приветствуем заявки от кандидатов любого происхождения и опыта.<br>Обратите внимание: мы свяжемся только с кандидатами, прошедшими предварительный отбор.</p> <div> <a href="https://jobs.dou.ua/companies/pine-software/vacancies/369889/#reply-btn-id">Відгукнутись на вакансію</a> </div>