Principal / Staff инженер Data Platform

Что предстоит делать

Sigma Software — международный технологический партнёр с более чем 24-летним опытом поставки значимых цифровых решений для глобального бизнеса. Имея команду из более чем 2 000 специалистов, компания сотрудничает с ведущими брендами, такими как AstraZeneca, Viaplay, Volvo и Scania, помогая им масштабироваться, внедрять инновации и оставаться конкурентоспособными на быстро меняющихся рынках. Работая более чем в 20 странах и имея 40+ офисов в Европе и Америке, Sigma Software сочетает глобальный охват с сильной локальной экспертизой. Компания реализовала проекты для более чем 500 клиентов в таких отраслях, как финтех, здравоохранение, автомобильная отрасль и медиа. ЗАКАЗЧИК Наш заказчик — базирующаяся в Швеции AdTech-компания, специализирующаяся на продвинутых рекламных платформах самообслуживания, которые автоматизируют прямые транзакции между рекламодателями и крупными глобальными паблишерами. Их решения повышают прозрачность и операционную эффективность в цифровой рекламе, и им доверяют всемирно известные бренды, включая TripAdvisor, Bloomberg, The Washington Post, Opera и Dow Jones. Компания обрабатывает миллионы рекламных транзакций по всему миру и активно инвестирует в возможности работы с данными на основе AI. ПРОЕКТ Проект посвящён созданию современной data-платформы с нуля с акцентом на неизменяемые потоки событий, управляемые канонические модели, семантические слои и масштабируемую аналитическую инфраструктуру. Платформа будет поддерживать аналитические нагрузки, операционные data-продукты, AI-приложения и будущие клиентские сценарии работы с данными. В роли Principal / Staff Data Platform Engineer вы будете отвечать за ключевые архитектурные решения, определять масштабируемые инженерные стандарты и помогать выпустить первую production-ready версию платформы в высоконагруженной AdTech-среде. Ключевые технологии: Apache Iceberg, Spark, Flink, Trino, AWS, Python, Scala, Java, CI/CD, Infrastructure as Code Описание вакансии Руководить техническим проектированием и архитектурой современной data-платформы корпоративного масштаба • Определять масштабируемые потоки данных из основанного на Iceberg хранилища событий в аналитические и операционные data-продукты • Оценивать и выбирать технологии для оркестрации, трансформации, выполнения запросов, обслуживания и хранения • Проектировать переиспользуемые канонические сущности и модели данных в доменах рекламы, кампаний, инвентаря, биллинга и клиентов • Создавать масштабируемые инженерные паттерны для batch- и near-real-time обработки • Строить надёжные и наблюдаемые data pipelines для высоконагруженных AdTech-задач • Внедрять возможности по качеству данных, происхождению данных (lineage), наблюдаемости и сверке • Сотрудничать с командами Platform Engineering для внедрения data-контрактов, проверяемых в CI, и стандартов управления данными • Определять стратегии изоляции тенантов, контроля доступа и региональных границ данных • Устанавливать стандарты для тестирования, автоматизации развёртывания, эволюции схем и версионирования • Оптимизировать производительность платформы, масштабируемость и затраты на инфраструктуру • Наставлять инженеров и способствовать инженерному совершенству в команде • Тесно взаимодействовать с руководством и кросс-функциональными стейкхолдерами Квалификационные требования 8+ лет опыта проектирования и эксплуатации data-платформ промышленного уровня • Глубокая экспертиза в распределённых системах данных и событийно-ориентированных архитектурах с высокой нагрузкой • Глубокое понимание современных lakehouse-архитектур и Apache Iceberg • Продвинутые навыки SQL и опыт production-разработки на Python, Java, Scala или аналогичных языках • Опыт работы с технологиями распределённой обработки и запросов, такими как Spark, Flink или Trino • Прочные знания в области моделирования данных, стратегий партиционирования и оптимизации производительности • Подтверждённый опыт построения batch- и near-real-time data pipelines • Практический опыт работы с облачной инфраструктурой AWS • Хорошее понимание CI/CD pipelines, Infrastructure as Code и production-наблюдаемости • Опыт внедрения data-контрактов, эволюции схем и фреймворков качества данных • Способность принимать прагматичные архитектурные решения в greenfield-средах • Уровень английского Upper-Intermediate или выше • Сильные коммуникативные навыки и навыки технического лидерства БУДЕТ ПЛЮСОМ • Опыт в AdTech или других доменах с высоконагруженной обработкой событий • Опыт проектирования multi-tenant SaaS data-архитектур • Знакомство с технологиями семантического слоя • Опыт поддержки как аналитических, так и ML/AI-нагрузок • Понимание нормативных требований о приватности и требований к резидентности данных