Data Engineer
Команда Data Engineering ищет инженера для развития Market Data Platform — lakehouse-инфраструктуры на Apache Iceberg и AWS S3, которая обрабатывает биржевые данные петабайтного масштаба. Нужен сильный опыт в lakehouse-системах, Spark, Airflow, Python и SQL, а также уверенное владение Kubernetes и AWS. Работа полностью удалённая с пересечением с командой по Москве, предлагают компенсацию страховки, спорта и обучения.
Отклик отправляется на сайте источника. Регистрация в Taylor для перехода не нужна.
Зарплата не указана — оценили по рынку
На основе 88 похожих вакансий за 90 дней по всем рынкам вместе — отдельной выборки по рынку этой вакансии нет.
Что предстоит делать
Команда Data Engineering отвечает за Market Data Platform — lakehouse-инфраструктуру, которая покрывает весь путь данных: от сырых биржевых фидов до надёжного хранилища петабайтного масштаба для исследований, бэктестинга и торговли в реальном времени. Опыт работы с биржевыми данными не обязателен: ключевое для нас — сильная экспертиза в lakehouse-системах. Доменный контекст команда даст сама.
- Развивать lakehouse на Apache Iceberg over AWS S3: партиционирование и сортировка данных, эволюция схемы, snapshots, time travel, compaction, TTL, point-in-time correctness для reference data. Оптимизировать производительность запросов и стоимость хранения.
- Строить batch- и streaming-пайплайны на Airflow, Spark и dbt для tick data и reference data.
- Развивать сбор и нормализацию market data: биржевые фиды (PCAP, multicast UDP, ITCH, FIX) и данные провайдеров (OneTick, Refinitiv, Bloomberg, ICE), реконструкция L2/L3 order book, обработка пропусков и сверка данных.
- Разрабатывать внутренние библиотеки и единый слой доступа к данным (Spark, Polars): управление схемами, data contracts, валидация, lineage.
- Отвечать за мониторинг, алертинг, SLAs/SLOs и CI/CD на Kubernetes / EKS.
Что ждём от вас
- 5+ лет опыта разработки систем обработки данных в продакшене
- Практический опыт работы с крупными data lake / lakehouse-системами и понимание типичных проблем их эксплуатации
- Опыт работы с Apache Iceberg или аналогичными табличными форматами (Delta, Hudi): партиционирование, эволюция схемы, snapshots, compaction, работа с каталогом.
- Понимание внутреннего устройства Spark и Iceberg и опыт построения пайплайнов end-to-end, а не только работы поверх готовых фреймворков.
- Сильный Python, включая опыт с Polars и/или PySpark.
- Понимание Apache Arrow и колоночных форматов данных.
- Опыт с Airflow и Apache Spark или аналогичными системами оркестрации и распределённой обработки.
- Продвинутый SQL: сложные агрегации, оконные функции, оптимизация запросов, partition pruning.
- Уверенное знание Linux, практический опыт с Docker, Kubernetes/ EKS, AWS S3.
- Понимание принципов хранения и оптимизации структурированных, неструктурированных и бинарных данных: партиционирование, сжатие, управление стоимостью.
- Английский от B2 — для работы с документацией и общения с международной командой.
- Будет плюсом:
- Опыт с market data или network packet capture: PCAP, ITCH, FIX/FAST, multicast UDP, реконструкция order book, time-series data.
- Опыт нормализации market data из нескольких источников (OneTick, Refinitiv/Reuters, Bloomberg, ICE) в единую схему данных и symbology.
- Опыт со StarRocks или другими аналитическими query engines.
- Опыт с Terraform, ArgoCD, Grafana, Prometheus.
- Знание Rust или опыт его использования для high-performance capture/decoding.
Что предлагаем
Стек и инструменты
Сколько платят вам?
Анонимно укажите, сколько вы получаете как Data/ML-специалист, — сразу покажем, в скольких вакансиях платят меньше. А из ответов сложится зарплата, которую платят на деле, а не обещают.
Подходит ли вам эта вакансия?
Зарегистрируйтесь и загрузите резюме — посчитаем % совпадения с этой вакансией, подсветим сильные стороны и что стоит подтянуть
Похожие вакансии
6 вакансийData Scientist (Generative AI)
~2 182 910 ₸ оценка по стеку, все рынки
EPAM ищет Data Scientist с опытом 5+ лет для работы над генеративным ИИ: LLM, GAN, диффузионные модели, компьютерное зрение и NLP. Нужно уметь писать production-ready код на Python, работать с PyTorch/TensorFlow и облачными платформами, а также свободно общаться на английском от Upper-Intermediate. Предлагают ДМС, оплачиваемые отпуска и больничные, поддержку психологического комфорта и корпоративные программы для детей сотрудников.
MLOps-инженер
~2 182 910 ₸ оценка по всем рынкам
Нужен MLOps-инженер для платформы полного жизненного цикла ML: обучение, деплой, мониторинг и переобучение моделей на CPU/GPU. Главное — production-опыт с Kubernetes, инференс-движками вроде Triton или BentoML, GPU-инфраструктурой, IaC и уверенный Python. Предстоит развивать надёжность ML-платформы, автоматизировать релизы и мониторинг, оптимизировать ресурсы.
Senior Data Analyst
~1 050 000 – 1 750 000 ₸ оценка по стеку
Нужен самостоятельный старший аналитик данных на стыке маркетинга и финансов: считать LTV, Retention, Churn, конверсии и окупаемость маркетинговых вложений, проверять гипотезы и доносить выводы до бизнеса. Требуются уверенные SQL и Python, опыт работы с большими данными и сложными аналитическими задачами. Обещают высокую самостоятельность и задачи, напрямую влияющие на решения бизнеса.
AI Engineer (TypeScript)
~2 182 910 ₸ оценка по стеку, все рынки
Нужен AI-инженер на TypeScript для долгосрочного продукта американской компании в сфере налоговых льгот. Задача — строить мультиагентные пайплайны извлечения данных из документов, интегрировать ML-предсказания и надёжно разделять вероятностный вывод ИИ и детерминированную логику расчётов. Требуют 5+ лет коммерческой разработки, сильный TypeScript/Node.js, опыт с LLM-фичами в проде, React/Next.js и PostgreSQL, свободный английский. Предлагают полностью удалённую работу, прямую работу с CTO и компенсацию выше рынка с KPI-бонусом.
AI инженер
~2 029 725 ₸ оценка
Applefy ищет AI-инженера для проекта AI-агента поддержки клиентов для e-commerce компании. Нужно строить агента, который отвечает по базе знаний клиента, подтягивает данные о заказах и аккаунтах и передаёт диалог людям в Zendesk с полным контекстом. Требуется 4+ года бэкенд-опыта с сильным Python (FastAPI), опыт LLM в продакшене, RAG и интеграций с REST API, а также понимание GDPR. Предлагают полностью удалённую работу с гибким графиком, 20 дней оплачиваемого отпуска и 10 дней больничных.
AI Software Architect / Старший AI инженер
~2 182 910 ₸ оценка по всем рынкам
Solid Software ищет архитектора AI-решений / старшего AI-инженера, который будет проектировать и запускать в продакшн системы на базе LLM: RAG, агентные воркфлоу, вызов инструментов, оценка качества и мониторинг. Нужен опыт 10+ лет в разработке ПО, из них 5+ лет с LLM и генеративным AI, сильный Python, знание LangGraph/LangChain и подобных фреймворков, а также Docker, Kubernetes и облака (в первую очередь GCP). Предлагают удалённую работу с гибким графиком, MacBook Pro, менторство, оплату профессиональных мероприятий и спорта, дружную команду без бюрократии.