Data Engineer
Нужен дата-инженер для разработки и поддержки ETL-пайплайнов на PySpark в Data Lake на базе Trino и Iceberg. Основные требования — от 2 лет коммерческой разработки на Python, опыт с PySpark и Airflow, продвинутый SQL и понимание распределённых систем. Предлагают удалённую работу, официальное трудоустройство и ДМС после испытательного срока.
География удалёнки не уточнена
Уточните у работодателя, из каких стран можно работать.
Отклик отправляется на сайте источника. Регистрация в Taylor для перехода не нужна.
Что предстоит делать
- Разработка и поддержка ETL-пайплайнов на PySpark (обработка данных в Data Lake: Trino+Iceberg, HDFS);
- Проектирование и написание DAG в Apache Airflow;
- Загрузка сырых данных и слоя DDS в Iceberg;
- Построение финальных витрин данных в PostgreSQL (денормализация, агрегации);
- Написание и оптимизация сложных SQL-запросов (в т.ч. оконные функции, CTE);
- Поддержка контроля качества данных: реализация проверок и алертов в пайплайнах;
- Оптимизация производительности: батчинг, партиционирование Iceberg, настройка Spark;
- Взаимодействие с аналитиками BI для корректного построения источников данных под Qlik и Power BI;
- Мониторинг пайплайнов (SLA-контроль, логи, ретраи, обработка сбоев).
Что ждём от вас
- Стек технологий :
- Python, PySpark, Apache Airflow, Trino, Apache Iceberg, HDFS, PostgreSQL, Scrum
- Ключевые требования:
- Опыт коммерческой разработки на Python от 2 лет (именно для data-инженерии, не веб);
- Опыт работы с PySpark от 1 года (чтение/запись в Hive/Iceberg, трансформации, оптимизация);
- Опыт написания DAG в Apache Airflow ;
- Хорошее понимание Iceberg (схема эволюции, time travel, MERGE, партиционирование) в связке с Trino;
- Продвинутый SQL (оконные функции, CTE, объединения, подзапросы) на PostgreSQL-подобных диалектах;
- Опыт проектирования витрин в PostgreSQL (денормализация, агрегации, SCD Type 2);
- Понимание контроля качества данных;
- Опыт оптимизации ETL-пайплайнов (работа с большими объёмами, избегание дрейфа схемы, настройка Spark);
- Понимание работы распределённых систем (принципы MapReduce, shuffle, партиционирование);
- Готовность взаимодействовать с BI-разработчиками: понимание Qlik и Power BI.
Что предлагаем
Стек и инструменты
Зарплата не указана — оценили по рынку
На основе 91 похожих вакансий за 90 дней.
Сколько платят вам?
Вакансии показывают, что обещают работодатели. Анонимно расскажите, сколько получаете вы как Data/ML-специалиста — так появится зарплата, которую платят на деле.
Подходит ли вам эта вакансия?
Зарегистрируйтесь и загрузите резюме — посчитаем % совпадения с этой вакансией, подсветим сильные стороны и что стоит подтянуть
Похожие вакансии
6 вакансийКонсультант по аннотации данных
~1 202 900 ₸ оценка по стеку
Valkyria — украинская оборонная IT-компания, разрабатывающая AI-решения для DefTech. Нужен консультант по аннотации данных: размечать изображения и видео с дронов, тепловизоров и наземных сенсоров для обучения компьютерного зрения, следить за качеством датасетов и работать в связке с CV/ML-инженерами. Обязателен опыт в MilTech или военная служба, знание военной техники, 1+ год аннотации для CV и английский на уровне Intermediate. Предлагают гибкий формат работы и конкурентную оплату.
География удалёнки не уточнена
Риск-аналитик направления МСБ
~1 202 900 ₸ оценка
Нужно строить и развивать систему анти-фрод-мониторинга в кредитовании малого и среднего бизнеса: писать правила, отчётность, проводить винтажный анализ и внедрять инструменты выявления мошенничества, включая графовую аналитику. Требуется практический Python, SQL, опыт портфельного анализа в рисках МСБ от 2 лет и работа с большими данными. Предлагают стабильный доход с премией, ДМС, офисы в Москве, СПб и Екатеринбурге, обучение и доступ к ИИ-платформе.
География удалёнки не уточнена
Аналитик или Старший аналитик DWH
~1 202 900 ₸ оценка
GlowByte ищет аналитика или старшего аналитика DWH для работы над BI-решениями и хранилищами данных. Нужен опыт от года в аналитике, знание SQL, ETL и моделирования данных, желательно опыт с банками. Предлагают конкурентную зарплату с премиями, гибкий график, ДМС, обучение и офис в центре Москвы.
География удалёнки не уточнена
AI Engineer
~1 202 900 ₸ оценка
Компания mono ищет AI Engineer для проектирования и развития агентских систем на базе LangChain/LangGraph для внутренних AI-продуктов. Нужен глубокий опыт с LangChain/LangGraph, понимание ML-алгоритмов, deep learning для NLP, реализация tool use/function calling и RAG-пайплайнов. Предлагают гибкий график, возможность полностью удалённой работы, оплачиваемые отпуска и больничные, корпоративные курсы английского, страхование здоровья и карту Platinum от monobank.
География удалёнки не уточнена
AI Engineer Middle+/Senior
~1 202 900 ₸ оценка
Разработка агентных систем и ИИ-продуктов — от прототипов до внедрения в production с фокусом на надёжность и масштабируемость. Нужен опыт в Python, работе с ИИ-агентами и LLM, а также уверенный бэкенд-бэкграунд. Удалённая полная занятость в компании IT People group.
География удалёнки не уточнена
Data Scientist / Machine Learning Engineer
~1 202 900 ₸ оценка
Компания Artellence ищет Data Scientist / ML Engineer для разработки AI-решений в сфере OSINT: биометрическая идентификация, анализ объектов на фото, AI-агенты. Нужен опыт DS/MLE от 2 лет, математический бэкграунд, глубокие знания ML/DL, Python и фреймворков TensorFlow/Keras/PyTorch, опыт NLP и табличных данных. Предлагают удалённую работу с гибким графиком, работу с передовыми AI-технологиями и вклад в общественно значимые проекты.
География удалёнки не уточнена