Data Engineer
Ищем Data Engineer для онлайн-кинотеатра КИОН. Вы будете разрабатывать и поддерживать ETL/ELT пайплайны на PySpark, работать с ClickHouse, Greenplum и Hadoop, а также участвовать в миграции на S3. Требуется опыт от 3 лет в Python, глубокое знание SQL и опыт с большими данными. Предлагают оклад с бонусами, ДМС, гибридный график и офис в Москве.
Зарплата не указана — оценили по рынку
На основе 138 похожих вакансий за 90 дней.
Что предстоит делать
СЕЙЧАС МЫ В ПОИСКАХ DATA ENGINEER В КОМАНДУ ОНЛАЙН-КИНОТЕАТРА КИОН Мы создаем оригинальный развлекательный контент и развиваем сервисы для просмотра фильмов и сериалов на любом устройстве. Наша команда занимается внедрением lakehouse нового поколения, в котором мы разделяем compute от storage. Есть текущий проект с DWH в виде Greenplum и Hadoop который планируется перевести в поддержку.
- Разрабатывать и проводить рефакторинг ETL/ELT пайплайнов на pyspark;
- Разарбатывать и поддерживать OLAP движков Starrocks/Clickhouse;
- Поддерживать текущие пайплайны на Greenplum и Hadoop;
- Осуществлять миграцию с HDFS на S3;
- Проводить оптимизацию Spark-приложений;
- ЧТО ВАЖНО ДЛЯ ЭТОЙ ПОЗИЦИИ
- Опыт работы с Python от 3 лет;
- Глубокое знание SQL и опыт работы с большими данными;
- Опыт работы с Apache Airflow
- Опыт проектирования и разработки ETL/ELT процессов;
- Опыт работы с колоночными БД (ClickHouse);
- Знание принципов построения Data Warehouse и Data Lake;
- Понимание разницы между OLTP/OLAP системами;
- Уверенная работа c linux и git;
- Понимание процессов ci/cd;
Что предлагаем
Стек и инструменты
Подходит ли вам эта вакансия?
Зарегистрируйтесь и загрузите резюме — посчитаем % совпадения с этой вакансией, подсветим сильные стороны и что стоит подтянуть
Похожие вакансии
6 вакансий
Ведущий разработчик Clickhouse
~2 408 624 ₸ оценка
Вакансия для data-инженера: нужно оптимизировать бизнес-логику в ClickHouse и Teradata, настраивать ETL-пайплайны на Airflow и Python. Требуется глубокое знание ClickHouse и SQL, опыт от 2 лет.
Strong junior Machine learning engineer
Шукаємо Machine Learning Engineer з досвідом від 2 років для роботи над AI-рішеннями в OSINT-сфері. Потрібні глибокі знання ML/DL, Python, NLP та Tabular Data, а також досвід з TensorFlow/PyTorch. Пропонуємо віддалену роботу, гнучкий графік та цікаві задачі з сучасними технологіями.
Разработчик источников данных (SQL)
~2 408 624 ₸ оценка
Компания ПИК Digital ищет разработчика источников данных для BI-отчетности. Нужно будет создавать витрины данных, оптимизировать SQL-запросы и сопровождать аналитические решения. Требуется уверенный SQL и опыт с MS SQL Server/PostgreSQL. Предлагают удаленную работу и обучение.
Инженер GPU и ML инфраструктуры
~2 408 624 ₸ оценка
Инженер по GPU и ML инфраструктуре в стартап, разрабатывающий модель для мониторинга состояния GPU. Вы будете отвечать за генерацию данных: перенос тестовых процедур на новое оборудование, автоматизацию развертывания, обеспечение качества телеметрии и создание бенчмарк-нагрузок, включая LLM-инференс и обучение. Требуется опыт работы с GPU, Linux и сбором телеметрии. Предлагается удаленная работа и полная занятость.
AI-инженер (RAG, LLM)
~2 408 624 ₸ оценка
Ищем AI-инженера для разработки AI-агентов и RAG-систем в HRTech. Нужен опыт с LangChain, RAG, Fine-tuning и Docker. Предлагают работу в бигтех-компании с профессиональным развитием и участием в конференциях.
ML-инженер (оценка и улучшение AI-кода)
Вакансия для ML-инженера: нужно оценивать и улучшать AI-сгенерированный код, объяснять логику моделей и повышать их производительность. Работа полностью удалённая, проектная, с гибким графиком.