Data Engineer
Ищем Senior Data Engineer для миграции ETL-процессов с Informatica PowerCenter на стек NiFi + Airflow + Greenplum. Нужен опыт управления командой от 4 лет, глубокая работа с SQL/PLSQL, Python, PySpark, Airflow и NiFi, а также знание Hadoop, Kafka и СУБД. Предстоит проектировать и оптимизировать потоки данных, писать документацию и следить за качеством данных.
Отклик отправляется на сайте источника. Регистрация в Taylor для перехода не нужна.
Эта вакансия платит больше рынка
На 16% выше медианы Data/ML по 72 вакансиям за 90 дней, рынок — СНГ (RUB); город и грейд вакансии не учтены.
Что предстоит делать
Навыки: Python. Квалификация: Senior. Специализации: MLOps-инженер. ** 👋Привет! Меня зовут Ирина. Я представляю группу компаний Top Selection. 🔥В данный момент мы в поисках Data engineer **🔥 🛠**Требования:** - Опыт TeamLead (управление командой) не менее 4 лет; - Опыт разработки ETL/ELT-процессов, в которых значительная часть логики реализована на стороне СУБД; - Опыт разработки и сопровождения хранимых процедур / функций в СУБД; - Практический опыт использования SQL/PLSQL или аналогичных процедурных расширений SQL для реализации загрузок и трансформаций данных; - Опыт участия в проектах миграции ETL-систем (Apache стек); - Опыт разработки на Python (написание ETL-скриптов, работа с pandas, интеграция с API); - Опыт написания и отладки DAG'ов в Apache Airflow (не только проектирование, но и разработка); - Опыт работы с PySpark (трансформации, оптимизация, партиционирование); - Опыт миграции ETL-процессов с Informatica PowerCenter на открытый стек (Airflow + Greenplum); - Глубокое практическое знание NiFi и Airflow: проектирование потоков, подключение источников, обработка ошибок, мониторинг, отладка; - Опыт работы с качеством данных: разработка правил валидации, анализ влияния на бизнес-процессы; - Понимание архитектурных подходов к проектированию хранилищ, различие ETL и ELT; - Опыт работы с Hive metastore (устройство, хранение на PostgreSQL) и форматами файлов (Parquet, ORC); - Опыт работы с Оracle; - Опыт применения сложных SQL-запросов (оконные функции, джоины); - Умение оптимизировать запросы для highload-среды; - Опыт проектирования интеграций Apache-стека с Kafka и BI-системами; - Опыт настройки потоковой обработки данных; - Опыт работы с Hadoop и Hive (знание версий, источников данных); - Опыт работы с PostgreSQL, Greenplum, Clickhouse; - Опыт работы с Grafana/Prometheus для отслеживания ETL-процессов; - Опыт работы с биллингом; - Опыт автоматической валидации и контроля качества данных после миграции (сравнение результатов, метрики); **📌Обязанности:** - Миграция ETL-процессов с Informatica PowerCenter на целевой стек: NiFi + Airflow + Greenplum + SQL/хранимые процедуры. - Подготовка документации AS IS и TO BE; - Написание SQL кода; - Отслеживание метрик. 📲**Контакт для связи:** @Iryn_pnz
Стек и инструменты
Сколько платят вам?
Анонимно укажите, сколько вы получаете как Data/ML-специалист, — сразу покажем, в скольких вакансиях платят меньше. А из ответов сложится зарплата, которую платят на деле, а не обещают.
Подходит ли вам эта вакансия?
Зарегистрируйтесь и загрузите резюме — посчитаем % совпадения с этой вакансией, подсветим сильные стороны и что стоит подтянуть
Ещё в Top Selection
67 активных вакансий в компании
System Analyst (Senior)
Ищем старшего системного аналитика в команду листинга ритейл/e-commerce проекта. Нужно вести задачи от сбора и валидации требований до приёмочного тестирования и сопровождения, проектировать интеграции REST/Kafka, моделировать UML и BPMN, писать SQL, а также лидировать команду аналитиков. Формат удалённый, оформление только как ИП, часовой пояс МСК ±3ч.
Разработчик SAP
~1 316 000 – 1 456 000 ₸ оценка
Нужен senior-разработчик SAP PI/PO для интеграций между SAP и внешними системами: маппинги, адаптеры, маршрутизация, поддержка прода и участие в миграции на FESB. Требуется коммерческий опыт от 3–4 лет, уверенное владение Graphical/XSLT/Java Mapping и адаптерами REST, SOAP, IDoc, JMS, JDBC. Оформление как ИП, полная занятость, локация РФ.
BI Superset Developer Senior
Разработка BI-решений на Superset, проектирование витрин данных и создание кастомных визуализаций. Глубокая работа с Python и JavaScript/TypeScript, настройка CI/CD, участие в онбординге и собеседованиях.
Data Scientist
~1 151 432 ₸ оценка по всем рынкам
Разработка и внедрение ИИ-агентов на Python, проектирование SDK и формирование оценочных датасетов. Нужен опыт с современными архитектурами, параллельной и конкурентной обработкой задач, FastAPI, микросервисами, Docker и Kubernetes. Удалённая работа на полную занятость с оформлением как ИП.
Похожие вакансии
6 вакансийData Scientist (Middle+/Senior)
Нужно формулировать бизнес-задачи в ML-решения, проводить исследовательский анализ данных и разрабатывать модели — от классического ML и статистики до рекомендательных систем и NLP/LLM. Также предстоит валидировать модели, оценивать качество, внедрять их в продакшн и следить за работой после запуска в тесной связке с командой.
Старший Data Scientist
~2 029 725 ₸ оценка
Ищем старшего Data Scientist, который умеет вести задачу от бизнес-вопроса до работающего в продакшене решения. Нужно строить и валидировать ML-модели, работать с грязными данными, метриками и экспериментами, доводить модели до продакшена вместе с инженерами. Требуется 5+ лет опыта в DS/ML, уверенный Python (Pandas, NumPy, scikit-learn), статистика, SQL, MLOps и облака, английский Upper-Intermediate и выше.
Главный BI-разработчик
~1 050 000 – 1 750 000 ₸ оценка по стеку
AITAS ищет главного BI-разработчика: строить отчёты и интерактивные дашборды в Power BI, писать сложные SQL-запросы, интегрировать данные из CRM, ERP, API и Excel, следить за качеством данных и оптимизировать производительность. Нужен опыт в Power BI от 1–3 лет, уверенный SQL (JOIN, CTE, оконные функции), понимание DWH, ETL/ELT и моделирования данных, английский для чтения документации. Плюсом будут Tableau, Qlik Sense и другие продукты Microsoft.
Data Scientist Middle
~1 388 613 ₸ оценка по всем рынкам
Нужен ML-специалист для решения бизнес-задач в ценообразовании и прогнозировании. Работа end-to-end: разработка и оценка моделей на временных рядах и uplift modeling, анализ A/B-тестов и работа с данными. Требуется уверенный Python, SQL и опыт классического ML в бизнесе.
Продуктовый аналитик
~1 736 000 – 2 240 000 ₸ оценка
Нужен продуктовый аналитик для цифровизации процессов техобслуживания и ремонта на Липецкой площадке НЛМК: собирать гипотезы, считать экономический эффект, описывать процессы и требования к ИТ-решениям. Важны понимание ТОиР и промышленных систем (ERP/EAM, MES, SCADA), работа с данными и Excel, базовый SQL. Предлагают оформление по ТК РФ, ДМС, обучение и корпоративные льготы.
Дата инженер
~896 000 – 1 680 000 ₸ оценка
Нужен дата-инженер на крупный банковский проект: репликация данных из S3 в Hadoop, разработка и тестирование ETL-процессов, анализ требований и проектная документация. Ждут уверенный SQL, Python и опыт с Apache Spark, Hadoop/S3 и Airflow, плюсом будут Parquet/ORC, Iceberg, Kafka и Data Vault. Предлагают ДМС со стоматологией, технику, внутренние митапы и сессии профессионального развития.