Разработчик Data Engineering
Разработчик Data Engineering для построения и поддержки пайплайнов данных. Нужно уверенное знание Python и SQL, опыт с Airflow, Kafka и Greenplum. Предлагают работу с большими данными, влияние на архитектуру и сильную команду.
Зарплата не указана — оценили по рынку
На основе 302 похожих вакансий за 90 дней.
Что предстоит делать
О роли Ищем разработчика в команду Data Engineering для создания и развития процессов загрузки, обработки и интеграции данных. Работа с потоковыми и пакетными данными, развитие пайплайнов в Airflow, интеграции через Kafka и решения на базе Greenplum.
- Разработка и поддержка процессов обработки данных на Python и SQL.
- Создание, настройка и сопровождение DAG в Apache Airflow.
- Разработка интеграций и потоков данных на Apache Kafka.
- Загрузка, трансформация и оптимизация данных в Greenplum.
- Разработка кастомных парсеров для сайтов, API, файлов и внешних систем.
- Создание ETL/ELT-процессов и контроль качества данных (Data Quality).
- Оптимизация SQL-запросов и производительности на больших объёмах данных.
- Диагностика ошибок, настройка логирования, мониторинга и повторного запуска процессов.
- Взаимодействие с аналитиками, архитекторами, разработчиками и владельцами источников данных.
- Подготовка технической документации.
Что ждём от вас
- Уверенное владение Python.
- Хорошее знание SQL и принципов работы реляционных баз данных.
- Практический опыт разработки ETL/ELT-процессов.
- Опыт работы с Apache Airflow и разработки DAG.
- Понимание принципов работы Apache Kafka.
- Опыт с Greenplum, PostgreSQL или другими MPP-базами данных.
- Опыт интеграции с REST API, JSON, XML, CSV и другими форматами.
- Понимание принципов отказоустойчивых и идемпотентных процессов.
- Умение разбираться в чужом коде и находить причины ошибок.
- Опыт работы с Git.
- Будет преимуществом:
- Kafka Connect, Debezium или CDC-инструменты.
- Docker и Kubernetes.
- ClickHouse, Spark, Trino или объектные хранилища (object storage).
- Написание автотестов для дата-пайплайнов.
- Настройка мониторинга через Prometheus и Grafana.
- Системы Data Quality и Data Governance.
Что предлагаем
Стек и инструменты
Подходит ли вам эта вакансия?
Зарегистрируйтесь и загрузите резюме — посчитаем % совпадения с этой вакансией, подсветим сильные стороны и что стоит подтянуть
Ещё в HRStream
2 активные вакансии в компании
Инженер AI/ML (Python)
Разработка AI- и ML-решений на Python: от прототипов до промышленных сервисов. Требуется опыт с LLM, RAG, векторными базами данных и GPU. Предлагают работу над реальными AI-продуктами с доступом к современной инфраструктуре и гибкими условиями.
Похожие вакансии
6 вакансийИнженер AI/ML (Python)
Разработка AI- и ML-решений на Python: от прототипов до промышленных сервисов. Требуется опыт с LLM, RAG, векторными базами данных и GPU. Предлагают работу над реальными AI-продуктами с доступом к современной инфраструктуре и гибкими условиями.
Аналитик
Ищем опытного аналитика для работы с данными и отчётностью в банке Forte. Требуется уверенное владение Excel и Power BI, опыт сбора и анализа данных, а также знание Agile и Jira. Предлагается конкурентная зарплата, офисный график 5/2 и корпоративные бонусы.
Аналитик по продажам (Sales Analyst)
Аналитик по продажам в международную FMCG-компанию. Нужно собирать и анализировать данные, готовить отчеты и дашборды, прогнозировать продажи. Требуются опыт от 2 лет, уверенное владение Excel и знание BI-инструментов, английский Intermediate. Предлагают высокую зарплату, бонусы, медстраховку и карьерный рост.
Data аналитик
Ищем Data аналитика с опытом работы от 1 года для работы с базами данных банка. Нужно писать и оптимизировать SQL-запросы, создавать ETL-процедуры и автоматизировать отчетность. Предлагают стабильный оклад, бонусы, обучение и комфортный офис.
Аналитик в команду динамического ценообразования
~2 668 363 – 3 586 279 ₸ оценка
Ищем сильного аналитика для развития инструментов динамического ценообразования в каршеринге CityDrive. Нужен опыт проведения сложных экспериментов, знание Python, SQL и Git, а также развитое экономическое мышление. Предлагают удалённую работу, официальное оформление, ДМС и другие бонусы.
ETL/ELT разработчик (Data Engineer)
~1 652 750 – 3 111 625 ₸ оценка
Ищем опытного ETL/ELT разработчика для развития и сопровождения хранилищ данных. Нужно отличное знание SQL, опыт с DWH и одной из СУБД (Greenplum, Postgres, Oracle). Будет плюсом знание Python, Airflow и BI-разработка.