Data Engineer
Команда Data Engineering ищет инженера для развития Market Data Platform — lakehouse-инфраструктуры на Apache Iceberg и AWS S3, которая обрабатывает биржевые данные петабайтного масштаба. Нужен сильный опыт в lakehouse-системах, Spark, Airflow, Python и SQL, а также уверенное владение Kubernetes и AWS. Работа полностью удалённая с пересечением с командой по Москве, предлагают компенсацию страховки, спорта и обучения.
Отклик отправляется на сайте источника. Регистрация в Taylor для перехода не нужна.
Что предстоит делать
Команда Data Engineering отвечает за Market Data Platform — lakehouse-инфраструктуру, которая покрывает весь путь данных: от сырых биржевых фидов до надёжного хранилища петабайтного масштаба для исследований, бэктестинга и торговли в реальном времени. Опыт работы с биржевыми данными не обязателен: ключевое для нас — сильная экспертиза в lakehouse-системах. Доменный контекст команда даст сама.
- Развивать lakehouse на Apache Iceberg over AWS S3: партиционирование и сортировка данных, эволюция схемы, snapshots, time travel, compaction, TTL, point-in-time correctness для reference data. Оптимизировать производительность запросов и стоимость хранения.
- Строить batch- и streaming-пайплайны на Airflow, Spark и dbt для tick data и reference data.
- Развивать сбор и нормализацию market data: биржевые фиды (PCAP, multicast UDP, ITCH, FIX) и данные провайдеров (OneTick, Refinitiv, Bloomberg, ICE), реконструкция L2/L3 order book, обработка пропусков и сверка данных.
- Разрабатывать внутренние библиотеки и единый слой доступа к данным (Spark, Polars): управление схемами, data contracts, валидация, lineage.
- Отвечать за мониторинг, алертинг, SLAs/SLOs и CI/CD на Kubernetes / EKS.
Что ждём от вас
- 5+ лет опыта разработки систем обработки данных в продакшене
- Практический опыт работы с крупными data lake / lakehouse-системами и понимание типичных проблем их эксплуатации
- Опыт работы с Apache Iceberg или аналогичными табличными форматами (Delta, Hudi): партиционирование, эволюция схемы, snapshots, compaction, работа с каталогом.
- Понимание внутреннего устройства Spark и Iceberg и опыт построения пайплайнов end-to-end, а не только работы поверх готовых фреймворков.
- Сильный Python, включая опыт с Polars и/или PySpark.
- Понимание Apache Arrow и колоночных форматов данных.
- Опыт с Airflow и Apache Spark или аналогичными системами оркестрации и распределённой обработки.
- Продвинутый SQL: сложные агрегации, оконные функции, оптимизация запросов, partition pruning.
- Уверенное знание Linux, практический опыт с Docker, Kubernetes/ EKS, AWS S3.
- Понимание принципов хранения и оптимизации структурированных, неструктурированных и бинарных данных: партиционирование, сжатие, управление стоимостью.
- Английский от B2 — для работы с документацией и общения с международной командой.
- Будет плюсом:
- Опыт с market data или network packet capture: PCAP, ITCH, FIX/FAST, multicast UDP, реконструкция order book, time-series data.
- Опыт нормализации market data из нескольких источников (OneTick, Refinitiv/Reuters, Bloomberg, ICE) в единую схему данных и symbology.
- Опыт со StarRocks или другими аналитическими query engines.
- Опыт с Terraform, ArgoCD, Grafana, Prometheus.
- Знание Rust или опыт его использования для high-performance capture/decoding.
Что предлагаем
Стек и инструменты
Зарплата не указана — оценили по рынку
На основе 103 похожих вакансий за 90 дней.
Сколько платят вам?
Вакансии показывают, что обещают работодатели. Анонимно расскажите, сколько получаете вы как Data/ML-специалиста — так появится зарплата, которую платят на деле.
Подходит ли вам эта вакансия?
Зарегистрируйтесь и загрузите резюме — посчитаем % совпадения с этой вакансией, подсветим сильные стороны и что стоит подтянуть
Ещё в Advantage Solutions
2 активные вакансии в компании
Старший Rust инженер
~1 605 000 – 2 409 777 ₸ оценка
Старший Rust-инженер для создания и поддержки низколатентной торговой платформы: шлюзы бирж, конвейеры данных, мониторинг и инфраструктура алготрейдинга. Нужен опыт 5+ лет в высоконадёжных системах, глубокое знание Rust, Linux, сетей и распределённых вычислений. Предлагают полностью удалённую работу, технологичную среду без легаси, медицинскую страховку и поддержку развития.
Похожие вакансии
6 вакансийData Scientist
~1 970 173 ₸ оценка по стеку
Fit4Me — украинский продуктовый стартап в сфере Health & Fitness — ищет Data Scientist в команду аналитики. Нужно строить и выводить в продакшн ML-модели LTV, churn и фрод-детекции, проводить статистический анализ A/B-тестов и работать с данными в BigQuery и Amplitude. Требуется 5+ лет опыта в Data Science/ML, уверенный Python (pandas, scikit-learn, statsmodels), продвинутый SQL и английский уровня B2+. Предлагают полностью удалённую работу, гибкий график, обучение и быстрый карьерный рост.
Старший Data Engineer
~1 970 173 ₸ оценка
HBM ищет старшего Data Engineer для исландской климатической компании, которая занимается хранением CO₂. Нужно строить и поддерживать дата-платформу в Azure Databricks: пайплайны, автоматизация сбора и обработки данных, мониторинг через Grafana. Требуется 6+ лет опыта в data engineering, сильный Python, Spark, Databricks, Terraform и Azure, английский Upper-Intermediate. Предлагают полную удалёнку, гибкий график и конкурентную оплату.
Data Engineer
~1 970 173 ₸ оценка по стеку
Компания mono ищет Data Engineer для работы над дата-платформой крупного финтех-продукта с нагрузкой 10+ млн транзакций в день. Нужен опыт 4+ лет в backend или data-инженерии, глубокое знание ClickHouse/PostgreSQL, SQL, ETL/ELT, Kafka и Airflow. Предлагают гибкий график, возможность удалённой работы, оплачиваемые отпуска и дни обучения, страховку и корпоративные курсы английского.
Старший ML инженер — Risk Scoring и Reinforcement Learning
~1 970 173 ₸ оценка
Ищем старшего ML-инженера для клиента — платформы управления AI-агентами. Модель в реальном времени оценивает риск каждого действия агента (0–100) и решает: разрешить, эскалировать человеку или отклонить. Нужен опыт production ML от 5 лет, сильный Python, hands-on опыт с Reinforcement Learning, bandits, RLHF, GBDT-моделями (XGBoost/LightGBM), работа с несбалансированными и шумными данными, деплой моделей с низкой задержкой. Плюсом — опыт в risk/fraud/security ML, anomaly detection, ONNX, дистилляция моделей. Полная занятость, долгосрочный проект.
Python-разработчик
~1 970 173 ₸ оценка
Ищем опытного Python-разработчика в команду по работе с данными: автоматизация процессов, построение пайплайнов, разработка AI-агентов и аналитических приложений. Нужен опыт на Python от 4 лет, глубокое знание SQL, СУБД Oracle и ClickHouse, FastAPI/Flask и навыки командной разработки. Предлагают удалёнку или гибрид, ДМС, обучение и карьерный рост.
Старший Azure Data Architect
~1 970 173 ₸ оценка
Проектирование и развитие архитектуры данных на платформе Azure для enterprise-решений, включая слой данных для GenAI, RAG и Agentic AI приложений. Нужен сильный опыт в Azure Cosmos DB, Azure Synapse Analytics, Databricks, SQL Server/T-SQL, Lakehouse и построении масштабируемых ingestion-пайплайнов. Предлагают полностью удалённую работу, гибкий график, менторство и программы профессионального роста.