Data Engineer / Backend специалист

Что предстоит делать

Ищем Data Engineer / Backend специалиста для разработки и развития высоконагруженных систем антифрод-скоринга, работающих в режиме реального времени. Вы будете работать на стыке Data Engineering, Backend и Machine Learning: развивать микросервисы и data процессы, создавать витрины и ML-фичи, обеспечивать обработку и доставку данных в online и batch контуры.

• Разработка и развитие микросервисов и data процессов для online/streaming и batch обработки;
• Построение пайплайнов обработки, обогащения и репликации данных;
• Создание витрин, агрегатов и ML фичей для антифрод моделей;
• Работа с большими объемами исторических данных и тяжелыми расчетами;
• Обеспечение качества, консистентности и доступности данных;
• Оптимизация производительности и надежности сервисов и пайплайнов;
• Взаимодействие с бизнес заказчиками и Data Scientists: сбор требований, проработка решений, понимание особенностей обучения и применения ML моделей.
• Наши пожелания к кандидатам:
• Коммерческий опыт разработки на Python;
• Опыт создания backend сервисов и data пайплайнов;
• Понимание принципов микросервисной архитектуры;
• Опыт работы с большими объемами данных;
• Понимание batch и streaming обработки;
• Опыт работы с реляционными и in-memory базами данных;
• Понимание принципов работы ML пайплайнов;
• Готовность самостоятельно разбираться в предметной области и работать на стыке технических и бизнес задач.
• Технологический стек:
• Big Data: Spark, Hadoop, S3, Iceberg, Airflow;
• Backend: Python, FastAPI, Flask, Aiohttp;
• СУБД: MS SQL, Oracle, PostgreSQL;
• In-memory: Redis, Apache Ignite, Tarantool DB, Tarantool Column Store;
• Streaming: Kafka;
• Инфраструктура: Linux.
• Будет плюсом: Опыт в Anti-Fraud / Risk / Scoring, low-latency системах, feature pipelines, online inference, а также практический опыт со Spark, Kafka, Tarantool или Ignite.

Что предлагаем