Data Engineer
Развитие Big Data платформы на Hadoop 3 и Apache Spark: проектирование ETL/ELT-пайплайнов, оптимизация Spark-приложений, поддержка Data Lake и витрин в ClickHouse. Нужен опыт от 3 лет с Hadoop и Spark, уверенный SQL и понимание распределённых вычислений. Предлагают гибридный формат, ДМС, бонусы и работу в IT-аккредитованной компании.
География удалёнки не уточнена
Уточните у работодателя, из каких стран можно работать.
Отклик отправляется на сайте источника. Регистрация в Taylor для перехода не нужна.
Что предстоит делать
«Детмир Тех» развивает цифровую экосистему группы компаний «Детский мир». Мы создаём продукты для миллионов клиентов и сервисы, которые помогают бизнесу принимать решения на основе данных. Ищем Data Engineer в команду Big Data Platform. Платформа построена на Hadoop 3 и Apache Spark и является основным источником данных для всей группы компаний. Главная задача — развивать надёжную и производительную платформу обработки больших объёмов данных: проектировать пайплайны, оптимизировать Spark-приложения, развивать Data Lake и совершенствовать архитектуру Hadoop-кластера.
- Разрабатывать и оптимизировать batch-процессы на Apache Spark.
- Проектировать ETL/ELT-пайплайны для обработки больших объёмов данных.
- Создавать и поддерживать витрины данных в Hadoop.
- Оптимизировать Spark jobs: partitioning, shuffle, data skew, использование памяти и ресурсов кластера.
- Развивать архитектуру Data Lake и подходы к организации и хранению данных.
- Организовывать загрузку и передачу данных через Kafka и S3 API (MinIO).
- Автоматизировать процессы с помощью Apache Airflow и Apache NiFi.
- Поддерживать трансформации данных в dbt Core.
- Развивать и поддерживать витрины данных в ClickHouse.
- Оптимизировать запросы и процессы загрузки данных в ClickHouse, разбираться с проблемами производительности.
- Поддерживать аналитическую платформу на Apache Superset, решать возникающие технические проблемы.
- Внедрять проверки качества данных и мониторинг пайплайнов.
- Исследовать причины сбоев и деградации производительности.
- Помогать аналитикам и дата-сайентистам эффективно работать с платформой.
- Участвовать в развитии внутренних инструментов и стандартов Data Engineering.
- Участвовать в развёртывании и эксплуатации компонентов платформы в Kubernetes.
- Что для нас важно:
- От трёх лет опыта работы с Hadoop и Apache Spark.
- Знание основных компонентов Hadoop и принципов работы HDFS и Spark.
- Глубокое понимание архитектуры Spark и принципов распределённых вычислений.
- Опыт разработки и оптимизации Spark batch jobs.
- Уверенное владение SQL.
- Опыт проектирования DWH или Data Lake.
- Опыт построения ETL/ELT-процессов.
- Практический опыт работы с Apache Airflow.
- Знание форматов хранения данных.
- Понимание принципов партиционирования и организации данных в Data Lake.
- Умение диагностировать проблемы с shuffle, partitioning, data skew, памятью и использованием ресурсов кластера.
- Умение анализировать производительность распределённых приложений и находить узкие места.
- Умение писать чистый, тестируемый и поддерживаемый код.
- Готовность принимать технические решения и отвечать за результат.
- Будет преимуществом:
- Опыт разработки на Scala.
- Знание Kafka и принципов потоковой обработки данных.
- Опыт работы с ClickHouse и оптимизации запросов.
- Опыт работы с Apache Superset.
- Знакомство с Apache NiFi и dbt Core.
- Опыт эксплуатации приложений в Kubernetes.
- Знание Docker, Helm и GitLab CI/CD.
- Опыт работы с DataHub или другими Data Catalog решениями.
- Опыт построения мониторинга data-платформ и пайплайнов.
- Знакомство с VictoriaMetrics, Grafana, Hue или Jupyter.
- Опыт работы с большими Hadoop-кластерами и высокими объёмами данных.
- Наш стек:
- Хранение и обработка: Hadoop 3, HDFS, Apache Spark
- Доставка и обмен данными: Kafka, S3
- Оркестрация и трансформации: Apache Airflow, Apache NiFi, dbt Core
- Аналитические хранилища: ClickHouse
- Ad-hoc аналитика: Hue, Jupyter
- Каталог данных: DataHub
- BI и визуализация: Apache Superset, Grafana
- Мониторинг: VictoriaMetrics, Grafana
- Инфраструктура: Kubernetes, Docker, Helm
- CI/CD: GitLab CI/CD
Что предлагаем
Стек и инструменты
Зарплата не указана — оценили по рынку
На основе 95 похожих вакансий за 90 дней.
Сколько платят вам?
Вакансии показывают, что обещают работодатели. Анонимно расскажите, сколько получаете вы как Data/ML-специалиста — так появится зарплата, которую платят на деле.
Подходит ли вам эта вакансия?
Зарегистрируйтесь и загрузите резюме — посчитаем % совпадения с этой вакансией, подсветим сильные стороны и что стоит подтянуть
Ещё в Детмир Тех
10 активных вакансий в компании
MLOps-инженер ИИ-платформы и агентской платформы
~1 202 900 ₸ оценка
Развивать ИИ-платформу «Детского мира»: LLM-гейтвей, RAG, агентные сценарии и собственный инференс на GPU. Нужен MLOps-инженер с production-опытом ML, уверенным Python, Docker/Kubernetes, CI/CD, Kafka/RabbitMQ и пониманием оценки качества LLM и AI-агентов. Предлагают официальное оформление по ТК РФ, гибрид/удалёнку, ДМС, технику и годовой бонус.
География удалёнки не уточнена
Backend-инженер ядра платформы
~993 700 ₸ оценка
Развитие backend-ядра корпоративной LLM-платформы: роутинг между моделями, RAG, права доступа и маскировка данных, интеграции с SSO, Atlassian, MCP и Telegram. Требуются уверенный Python, FastAPI, PostgreSQL, Redis, Kafka/RabbitMQ, опыт проектирования API и CI/CD. Предлагают официальное оформление по ТК РФ, гибрид/удалёнку из РФ, ДМС и бонусы.
География удалёнки не уточнена
Руководитель отдела ИИ-платформы
~1 600 380 ₸ оценка
Нужен руководитель отдела ИИ-платформы «Детского мира»: развивать платформу с LLM-гейтвеем, RAG, агентными сценариями и своим GPU-инференсом, а также собрать и вести команду из backend-, MLOps- и CV-инженеров (до 5–7 человек). Ждут 4–5+ лет инженерной практики на Python/в ML-инженерии, 1–2 года лидерства, опыт архитектуры и эксплуатации сервисов (SLO, метрики, инциденты). Предлагают оформление по ТК РФ в IT-аккредитованную компанию, оклад плюс годовой бонус, гибрид или удалёнку для кандидатов из РФ, ДМС и внутреннее обучение.
География удалёнки не уточнена
QA-специалист (продуктовая команда Мобильного приложения сотрудника)
~523 000 – 1 046 000 ₸ оценка
Нужен QA-специалист в продуктовую команду мобильного приложения для сотрудников магазинов «Детского мира» — это сборка заказов, инвентаризация, ценники, бонусные карты и интеграции с SAP. Работа двойная: ручное тестирование Android/iOS и Kotlin Multiplatform-приложений плюс бэкенд-API, интеграций с SAP и реального железа (Bluetooth-принтеры, сканеры), а также развитие автотестов; ждут опыт тестирования от года, уверенное владение Jira, Allure TestOps, Postman/Charles и умение писать проверяемые критерии приёмки. Предлагают удалёнку, оформление по ТК РФ, оклад с годовым бонусом, ДМС и обучение.
География удалёнки не уточнена
Похожие вакансии
6 вакансий
Strong Middle Data Scientist / AI Engineer
~1 202 900 ₸ оценка
Международная AdTech-компания ищет Strong Middle Data Scientist / AI Engineer для создания и развития AI-агентов, которые анализируют рекламные данные, строят прогнозы и готовят отчёты. Нужны сильный Python, опыт в data science и ML, работа с LLM и AI-агентами, SQL и облачные хранилища (желательно Snowflake), английский B2+. Предлагают полностью удалённую работу, гибкий график, B2B-контракт и возможности для роста.
География удалёнки не уточнена
Специалист по автоматизации на базе ИИ
~1 202 900 ₸ оценка
Нужен специалист, который будет находить рутинные процессы и автоматизировать их с помощью ИИ: строить решения на языковых моделях, связывать CRM, таблицы и мессенджеры, делать чат-ботов и ассистентов. Требуется опыт автоматизации на n8n или Make, уверенный Python или JavaScript/Node.js, работа с API LLM и RAG. Предлагают гибкий формат — офис, гибрид или удалёнка, проектное или постоянное сотрудничество, свободу в выборе инструментов.
География удалёнки не уточнена
Ученый по данным
~1 202 900 ₸ оценка по стеку
Нужен Data Scientist для развития моделей ранжирования и рекомендаций, feature engineering и внедрения ML-решений в production на Python. Требуется опыт внедрения ML-моделей, знание алгоритмов ML, нейросетей для текста, PyTorch/scikit-learn и A/B-тестов. Предлагают гибкий график, удалёнку или офис, наставничество, обучение и полный соцпакет.
География удалёнки не уточнена
Разработчик баз данных
~1 202 900 ₸ оценка по стеку
Компания из сферы логистики ж/д перевозок ищет разработчика баз данных PostgreSQL для усиления команды. Нужно проектировать структуру БД, писать и оптимизировать сложные SQL-запросы и хранимые процедуры на PL/pgSQL, работать с большими объёмами данных. Требуется опыт от 2 лет с PostgreSQL, знание SQL и PL/pgSQL; плюсом будут Oracle, Git и CI/CD. Предлагают полностью удалённую работу, оформление по ТК РФ, технику для работы и полный соцпакет.
География удалёнки не уточнена
Консультант по аннотации данных
~1 202 900 ₸ оценка по стеку
Valkyria — украинская оборонная IT-компания, разрабатывающая AI-решения для DefTech. Нужен консультант по аннотации данных: размечать изображения и видео с дронов, тепловизоров и наземных сенсоров для обучения компьютерного зрения, следить за качеством датасетов и работать в связке с CV/ML-инженерами. Обязателен опыт в MilTech или военная служба, знание военной техники, 1+ год аннотации для CV и английский на уровне Intermediate. Предлагают гибкий формат работы и конкурентную оплату.
География удалёнки не уточнена
Риск-аналитик направления МСБ
~1 202 900 ₸ оценка
Нужно строить и развивать систему анти-фрод-мониторинга в кредитовании малого и среднего бизнеса: писать правила, отчётность, проводить винтажный анализ и внедрять инструменты выявления мошенничества, включая графовую аналитику. Требуется практический Python, SQL, опыт портфельного анализа в рисках МСБ от 2 лет и работа с большими данными. Предлагают стабильный доход с премией, ДМС, офисы в Москве, СПб и Екатеринбурге, обучение и доступ к ИИ-платформе.
География удалёнки не уточнена