Data Engineer
Команда Data Engineering ищет инженера для развития Market Data Platform — lakehouse-инфраструктуры на Apache Iceberg и AWS S3, которая обрабатывает биржевые данные петабайтного масштаба. Нужен сильный опыт в lakehouse-системах, Spark, Airflow, Python и SQL, а также уверенное владение Kubernetes и AWS. Работа полностью удалённая с пересечением с командой по Москве, предлагают компенсацию страховки, спорта и обучения.
Отклик отправляется на сайте источника. Регистрация в Taylor для перехода не нужна.
Зарплата не указана — оценили по рынку
На основе 93 похожих вакансий за 90 дней по всем рынкам вместе — отдельной выборки по рынку этой вакансии нет.
Что предстоит делать
Команда Data Engineering отвечает за Market Data Platform — lakehouse-инфраструктуру, которая покрывает весь путь данных: от сырых биржевых фидов до надёжного хранилища петабайтного масштаба для исследований, бэктестинга и торговли в реальном времени. Опыт работы с биржевыми данными не обязателен: ключевое для нас — сильная экспертиза в lakehouse-системах. Доменный контекст команда даст сама.
- Развивать lakehouse на Apache Iceberg over AWS S3: партиционирование и сортировка данных, эволюция схемы, snapshots, time travel, compaction, TTL, point-in-time correctness для reference data. Оптимизировать производительность запросов и стоимость хранения.
- Строить batch- и streaming-пайплайны на Airflow, Spark и dbt для tick data и reference data.
- Развивать сбор и нормализацию market data: биржевые фиды (PCAP, multicast UDP, ITCH, FIX) и данные провайдеров (OneTick, Refinitiv, Bloomberg, ICE), реконструкция L2/L3 order book, обработка пропусков и сверка данных.
- Разрабатывать внутренние библиотеки и единый слой доступа к данным (Spark, Polars): управление схемами, data contracts, валидация, lineage.
- Отвечать за мониторинг, алертинг, SLAs/SLOs и CI/CD на Kubernetes / EKS.
Что ждём от вас
- 5+ лет опыта разработки систем обработки данных в продакшене
- Практический опыт работы с крупными data lake / lakehouse-системами и понимание типичных проблем их эксплуатации
- Опыт работы с Apache Iceberg или аналогичными табличными форматами (Delta, Hudi): партиционирование, эволюция схемы, snapshots, compaction, работа с каталогом.
- Понимание внутреннего устройства Spark и Iceberg и опыт построения пайплайнов end-to-end, а не только работы поверх готовых фреймворков.
- Сильный Python, включая опыт с Polars и/или PySpark.
- Понимание Apache Arrow и колоночных форматов данных.
- Опыт с Airflow и Apache Spark или аналогичными системами оркестрации и распределённой обработки.
- Продвинутый SQL: сложные агрегации, оконные функции, оптимизация запросов, partition pruning.
- Уверенное знание Linux, практический опыт с Docker, Kubernetes/ EKS, AWS S3.
- Понимание принципов хранения и оптимизации структурированных, неструктурированных и бинарных данных: партиционирование, сжатие, управление стоимостью.
- Английский от B2 — для работы с документацией и общения с международной командой.
- Будет плюсом:
- Опыт с market data или network packet capture: PCAP, ITCH, FIX/FAST, multicast UDP, реконструкция order book, time-series data.
- Опыт нормализации market data из нескольких источников (OneTick, Refinitiv/Reuters, Bloomberg, ICE) в единую схему данных и symbology.
- Опыт со StarRocks или другими аналитическими query engines.
- Опыт с Terraform, ArgoCD, Grafana, Prometheus.
- Знание Rust или опыт его использования для high-performance capture/decoding.
Что предлагаем
Стек и инструменты
Сколько платят вам?
Анонимно укажите, сколько вы получаете как Data/ML-специалист, — сразу покажем, в скольких вакансиях платят меньше. А из ответов сложится зарплата, которую платят на деле, а не обещают.
Подходит ли вам эта вакансия?
Зарегистрируйтесь и загрузите резюме — посчитаем % совпадения с этой вакансией, подсветим сильные стороны и что стоит подтянуть
Похожие вакансии
6 вакансийFractional CRO (эксперт по удержанию)
~2 164 243 ₸ оценка
Нужен практикующий эксперт по конверсии и удержанию для мобильного приложения в сфере digital health. Задача — разобраться, почему пользователи уходят после установки, выстроить метрики и дашборды, проверять гипотезы через A/B-тесты и вместе с командой внедрять улучшения. Формат — part-time, примерно 1–2 дня в неделю, удалённо, с прямым взаимодействием с продуктом и разработкой.
Инженер ML-платформы
~2 133 420 ₸ оценка по всем рынкам
Нужно строить общую ML-платформу для крупной европейской fashion-ритейл компании: оценивать и внедрять переиспользуемые ML-возможности, от POC до раннего продакшена. Требуется 5+ лет опыта с production ML или крупными data-системами в облаке, Kubernetes, потоковой и batch-обработкой, оркестрацией ML-пайплайнов. Предлагают удалённую работу, оплачиваемый отпуск, компенсацию спорта и страховки, занятия английским.
AI Product Engineer
~2 133 420 ₸ оценка по всем рынкам
Organic Soft ищет AI Product Engineer для мобильного приложения в сфере Health & Fitness: нужно проектировать и внедрять LLM-функции — рекомендации, адаптацию тренировок, анализ прогресса и диалоговое взаимодействие. Ждут сильный бэкенд-бэкграунд от 5 лет, практический опыт LLM-продуктов, evals, мониторинга и продуктовых экспериментов, английский B1. Основной стек TypeScript/Node.js, но рассматривают и инженеров с Python; предлагают удалёнку, гибкий график, официальное оформление и зарплату в привязке к доллару.
Ведущий AI/ML инженер (AWS, Python)
~2 133 420 ₸ оценка по всем рынкам
Нужен основной hands-on инженер для объединения четырёх продуктов клиента в единый suite на AWS с AI-first подходом. Задачи — строить AI-фичи на Bedrock и AgentCore (агенты, RAG, промпты), писать бэкенд на Python и Node.js, фронтенд на React, держать инфраструктуру в Terraform и работать spec-driven с Claude Code. Требуют 5+ лет в разработке, продакшн-опыт с LLM-приложениями, уверенный AWS и Terraform, английский Upper-Intermediate и выше; работа удалённая, full-time, с часовым поясом CET.
Архитектор DWH
~2 133 420 ₸ оценка по всем рынкам
Банк переводит корпоративное хранилище данных с Oracle на Arenadata GP и ищет архитектора DWH, который спроектирует модели данных на всех слоях по методологии Data Vault 2.0. Нужен опыт архитектуры хранилищ от 5 лет, практика с Greenplum, глубокое знание Data Vault и SQL в MPP, плюс экспертиза в банковских данных. Предлагают гибридный формат, офис в Москве, ДМС, обучение и оклад с квартальными премиями по KPI.
Senior/Middle+ Big Data Engineer
~2 133 420 ₸ оценка по всем рынкам
Lamoda ищет Big Data инженера в департамент рекламы — строить ландшафт данных для собственной рекламной платформы: витрины в ClickHouse, метрики рекламных кампаний в NRT и batch, переход на Lakehouse. Нужны уверенный Python/Scala/Java, глубокий Spark и Flink, ClickHouse, Kafka и опыт near realtime аналитики. Работа в большой команде из 50+ разработчиков и аналитиков над продуктом с миллионами пользователей.