Data Engineer
Развитие Big Data платформы на Hadoop 3 и Apache Spark: проектирование ETL/ELT-пайплайнов, оптимизация Spark-приложений, поддержка Data Lake и витрин в ClickHouse. Нужен опыт от 3 лет с Hadoop и Spark, уверенный SQL и понимание распределённых вычислений. Предлагают гибридный формат, ДМС, бонусы и работу в IT-аккредитованной компании.
Актуальность уточняется
Источник пока не подтвердил, что вакансия открыта. Проверьте её статус на сайте работодателя перед отправкой отклика.
Отклик отправляется на сайте источника. Регистрация в Taylor для перехода не нужна.
Зарплата не указана — оценили по рынку
На основе 127 похожих вакансий за 90 дней по всем рынкам вместе — отдельной выборки по рынку этой вакансии нет.
Что предстоит делать
«Детмир Тех» развивает цифровую экосистему группы компаний «Детский мир». Мы создаём продукты для миллионов клиентов и сервисы, которые помогают бизнесу принимать решения на основе данных. Ищем Data Engineer в команду Big Data Platform. Платформа построена на Hadoop 3 и Apache Spark и является основным источником данных для всей группы компаний. Главная задача — развивать надёжную и производительную платформу обработки больших объёмов данных: проектировать пайплайны, оптимизировать Spark-приложения, развивать Data Lake и совершенствовать архитектуру Hadoop-кластера.
- Разрабатывать и оптимизировать batch-процессы на Apache Spark.
- Проектировать ETL/ELT-пайплайны для обработки больших объёмов данных.
- Создавать и поддерживать витрины данных в Hadoop.
- Оптимизировать Spark jobs: partitioning, shuffle, data skew, использование памяти и ресурсов кластера.
- Развивать архитектуру Data Lake и подходы к организации и хранению данных.
- Организовывать загрузку и передачу данных через Kafka и S3 API (MinIO).
- Автоматизировать процессы с помощью Apache Airflow и Apache NiFi.
- Поддерживать трансформации данных в dbt Core.
- Развивать и поддерживать витрины данных в ClickHouse.
- Оптимизировать запросы и процессы загрузки данных в ClickHouse, разбираться с проблемами производительности.
- Поддерживать аналитическую платформу на Apache Superset, решать возникающие технические проблемы.
- Внедрять проверки качества данных и мониторинг пайплайнов.
- Исследовать причины сбоев и деградации производительности.
- Помогать аналитикам и дата-сайентистам эффективно работать с платформой.
- Участвовать в развитии внутренних инструментов и стандартов Data Engineering.
- Участвовать в развёртывании и эксплуатации компонентов платформы в Kubernetes.
- Что для нас важно:
- От трёх лет опыта работы с Hadoop и Apache Spark.
- Знание основных компонентов Hadoop и принципов работы HDFS и Spark.
- Глубокое понимание архитектуры Spark и принципов распределённых вычислений.
- Опыт разработки и оптимизации Spark batch jobs.
- Уверенное владение SQL.
- Опыт проектирования DWH или Data Lake.
- Опыт построения ETL/ELT-процессов.
- Практический опыт работы с Apache Airflow.
- Знание форматов хранения данных.
- Понимание принципов партиционирования и организации данных в Data Lake.
- Умение диагностировать проблемы с shuffle, partitioning, data skew, памятью и использованием ресурсов кластера.
- Умение анализировать производительность распределённых приложений и находить узкие места.
- Умение писать чистый, тестируемый и поддерживаемый код.
- Готовность принимать технические решения и отвечать за результат.
- Будет преимуществом:
- Опыт разработки на Scala.
- Знание Kafka и принципов потоковой обработки данных.
- Опыт работы с ClickHouse и оптимизации запросов.
- Опыт работы с Apache Superset.
- Знакомство с Apache NiFi и dbt Core.
- Опыт эксплуатации приложений в Kubernetes.
- Знание Docker, Helm и GitLab CI/CD.
- Опыт работы с DataHub или другими Data Catalog решениями.
- Опыт построения мониторинга data-платформ и пайплайнов.
- Знакомство с VictoriaMetrics, Grafana, Hue или Jupyter.
- Опыт работы с большими Hadoop-кластерами и высокими объёмами данных.
- Наш стек:
- Хранение и обработка: Hadoop 3, HDFS, Apache Spark
- Доставка и обмен данными: Kafka, S3
- Оркестрация и трансформации: Apache Airflow, Apache NiFi, dbt Core
- Аналитические хранилища: ClickHouse
- Ad-hoc аналитика: Hue, Jupyter
- Каталог данных: DataHub
- BI и визуализация: Apache Superset, Grafana
- Мониторинг: VictoriaMetrics, Grafana
- Инфраструктура: Kubernetes, Docker, Helm
- CI/CD: GitLab CI/CD
Что предлагаем
Стек и инструменты
Сколько платят вам?
Анонимно укажите, сколько вы получаете как Data/ML-специалист, — сразу покажем, в скольких вакансиях платят меньше. А из ответов сложится зарплата, которую платят на деле, а не обещают.
Подходит ли вам эта вакансия?
Зарегистрируйтесь и загрузите резюме — посчитаем % совпадения с этой вакансией, подсветим сильные стороны и что стоит подтянуть
Ещё в Детмир Тех
9 активных вакансий в компании
Solution Архитектор
~2 125 465 ₸ оценка по всем рынкам
Детмир Тех ищет Solution Архитектора для проектирования высокодоступных и высоконагруженных систем цифровой экосистемы Детского мира. Нужен опыт от 5 лет, экспертиза в микросервисах, Kubernetes, Kafka и хранилищах данных, а также проектирование решений на Java и NodeJS. Предлагают официальное оформление в IT-аккредитованную компанию, гибридный или удалённый формат, ДМС и годовую премию.
Java/Kotlin backend-разработчик
~1 472 939 ₸ оценка по всем рынкам
Разработка backend-сервисов для оформления и получения заказов в цифровой экосистеме «Детского мира»: корзина, чекаут, доставка, оплата. Нужен опыт от 3 лет на Java/Kotlin, Spring Boot, PostgreSQL, Kafka, Redis и Kubernetes, понимание распределённых систем. Предлагают официальное оформление по ТК РФ, гибридный или удалённый формат из РФ, ДМС, бонусы и технику для работы.
iOS-разработчик
~1 353 150 ₸ оценка по всем рынкам
Разработка крупного модульного iOS-приложения интернет-магазина «Детский мир»: новые экраны на SwiftUI, поддержка UIKit/RxSwift-кода и миграция на async/await. Нужен коммерческий опыт iOS от 3 лет, уверенный Swift, SwiftUI/UIKit, Swift Concurrency и RxSwift, понимание архитектуры и REST API. Предлагают официальное оформление по ТК РФ, оклад с годовым бонусом, ДМС, технику и внутреннее обучение.
Аналитик продуктовой аналитики
~1 388 613 ₸ оценка по всем рынкам
Команда «Детмир Тех» ищет аналитика для работы с коммерческими показателями: продажами, выручкой, конверсией и маржинальностью. Нужны SQL, Excel и опыт коммерческой аналитики от года, желательно в e-commerce или ритейле; Python и A/B-тесты — плюс, но этому готовы научить. Предлагают удалёнку по РФ, официальное оформление в IT-аккредитованную компанию, ДМС и годовой бонус.
Похожие вакансии
6 вакансий
Data Engineer (Azure Databricks / PySpark)
~704 540 ₸ оценка
Нужен опытный Data Engineer для долгосрочного проекта австрийского клиента из логистики. Задача — строить и поддерживать пайплайны и интеграции данных в Azure Lakehouse на Databricks и PySpark, следить за качеством данных и помогать с моделями Power BI. Требуются коммерческий опыт в Data Engineering, уверенные Python и SQL, знание ETL/ELT и английский или немецкий на уровне B1–B2. Работа полностью удалённая, full-time, с международной командой.
Аналитик репутации / Consulting Analytics
~1 388 613 ₸ оценка по всем рынкам
Нужен эксперт по репутационной аналитике: проводить аудиты клиентов (поиск, медиа, соцсети, отзывы), писать стратегии и коммерческие предложения под B2B-сделки, развивать методологию и внедрять AI-инструменты. Требуется 3+ года в аналитике/консалтинге, системное мышление, сильный письменный язык, опыт с инструментами медиамониторинга и английский от B2. Предлагают удалёнку на полную занятость, гибкий график и международную команду.
Azure Data Engineer
~1 388 613 ₸ оценка по стеку, все рынки
Нужен опытный Azure Data Engineer для развития и модернизации крупной корпоративной data-платформы. Задачи — строить и поддерживать пайплайны на Azure Databricks, Synapse и Spark, мигрировать на Unity Catalog и Delta Live Tables, следить за производительностью и качеством данных. Требуют уверенный коммерческий опыт с Azure Databricks и Synapse, Python, SQL и Spark, понимание Lakehouse и английский B2+.
Аналитик данных / Web Analyst
~650 000 ₸ оценка
Нужен веб-аналитик, который настраивает трекинг в GTM и GA4, пишет ТЗ разработчикам на события и следит за качеством данных. Важно уметь дебажить через DevTools, знать базовый SQL и разбираться в архитектуре данных в BigQuery, собирать дашборды в Looker Studio. Опыт аналитиком от 3 лет, работа удалённая с гибким началом дня, оплачиваемый отпуск и больничные.
Data Scientist / MLE
~1 388 613 ₸ оценка по всем рынкам
Компания Artellence ищет Data Scientist/MLE для работы над OSINT-продуктами: биометрическая идентификация, анализ объектов на фото, AI-агенты. Нужен опыт DS/MLE от 2 лет, сильная математика, глубокие знания ML/DL, Python и фреймворков TensorFlow/PyTorch, опыт NLP и tabular ML. Работа удалённая с гибким графиком, есть поддержка бронирования для ключевых сотрудников.
RevOps / Business Systems Analyst
~1 388 613 ₸ оценка по всем рынкам
Нужен специалист по RevOps, который разбирается в бизнес-процессах Sales, Customer Success и Finance и превращает бизнес-проблемы в аналитику и автоматизации. Работа с CRM (HubSpot, Bitrix24), базами данных, BI-дашбордами и AI-агентами, самостоятельное написание кода не обязательно, но нужно понимать SQL и логику систем. Требуют 3+ года опыта, английский от B2; предлагают удалёнку, гибкий график и опционы.