Разработчик баз данных (Big Data / ETL)
Ищем разработчика для работы с большими данными: строить и оптимизировать ETL-пайплайны на Apache Spark (Java), работать с Greenplum, ClickHouse, Hadoop. Требуется опыт от года со Spark и от двух лет с СУБД. Предстоит разрабатывать витрины данных, оркестрировать процессы и взаимодействовать с BI и DevOps.
Что предстоит делать
Навыки: Apache Spark, Java, ClickHouse, PostgreSQL, Apache Hadoop, SQL, ETL. Специализации: Разработчик баз данных. **Требования:** ● Опыт работы с Apache Spark (Java) от 1 года - ОБЯЗАТЕЛЬНО ● Опыт работы с СУБД (Greenplum, ClickHouse, PostgreSQL) от 2 лет ● Опыт работы с Hadoop (HDFS, Hive) ● Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных ● Опыт оптимизации ETL-пайплайнов и SQL кода ● Продвинутые знания SQL. ● Понимание принципов работы распределенных систем. ● Готовность осваивать Java для использования Spark Основные задачи: ● Разработка ETL на Apache Spark (Java стек) ● Разработка ETL-пайплайнов (Apache Spark, HDFS (parquets), Hive, Greenplum, ClickHouse); ● Разработка витрин данных в Greenplum и ClickHouse ● Оркестрация ETL-процессов. ● Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль). ● Взаимодействие с BI-разработчиками и DevOps для своевременной доставки данных в Superset. Стек технологий: HDFS, Greenplum, Clickhouse, Apache Spark, Apache Airflow, Python, Qlik Sense, Apache Superset, PL/Pg SQL, OpenShift, Bitbucket, Jira & Confluence, Docker, Kubernetes, Kibana, Grafana Описание потоков данных: HDFS > Spark > Hive > Greenplum > Clickhouse > Superset ВАЖНО, это BIG DATA, речь идет о миллиардах строк
Стек и инструменты
Подходит ли вам эта вакансия?
Зарегистрируйтесь и загрузите резюме — посчитаем % совпадения с этой вакансией, подсветим сильные стороны и что стоит подтянуть
Ещё в Джетлин
9 активных вакансий в компании
Автоматизация тестирования телеком-проектов
Вакансия для инженера по автоматизации тестирования телеком-проектов. Требуется опыт работы с Python, pytest, playwright, HTTP/JSON и CI/CD. Задачи включают тестирование API и микросервисов, интеграцию автотестов в пайплайны и написание поддерживаемых тестов.
NLP/LLM инженер
Ищем опытного NLP/LLM инженера для разработки и дообучения языковых моделей, создания ассистентов и интеллектуального поиска. Требуется глубокое знание математики, Python и DS-стека, опыт с PyTorch, Transformers, LangChain и RAG-пайплайнами. Предлагаем работу с современными LLM и участие в кросс-функциональных командах.
Senior Data Analyst
Ищем Senior Data Analyst для работы с данными из внутренних систем: сбор, агрегация, мониторинг качества и расчет продуктовых метрик. Требуется уверенный SQL, опыт с BI-инструментами (Apache Superset/Tableau/Power BI) и знание статистики. Предлагается удаленная работа в таймзоне МСК ±2 часа.
Senior Python Developer (AI/MLOps)
~2 193 650 ₸ оценка
Ищем Senior Python-разработчика с опытом в AI и MLOps для создания и поддержки AI-агентов. Нужно уметь писать код на Python, упаковывать его в Docker и разворачивать в Kubernetes, а также работать с Helm и ArgoCD. Предлагается полная удаленка на территории РФ.
Похожие вакансии
6 вакансийData Quality Engineer
Ищем Data Quality Engineer для работы над проектом в сфере возобновляемой энергетики. Требуется опыт работы с данными, SQL и ETL-тестированием. Предлагается удаленная работа, сложные задачи и возможности для роста.
Старший специалист по анализу данных (CVM, геймификация)
~1 983 300 ₸ оценка
Fozzy Group ищет аналитика данных для создания геймифицированной системы управления клиентами. Нужно моделировать жизненный цикл пользователей, тестировать игровые механики и строить модели удержания. Требуются SQL, Python и опыт в аналитике от 2 лет.
Разработчик AI-агентов и NLP-решений
Вакансия для разработчика AI-решений: создание и внедрение AI-агентов, рекомендательных систем и NLP-моделей на базе Transformer. Требуется опыт работы с LLM, большими данными и полным циклом разработки. Предлагается работа над современными технологиями искусственного интеллекта.
Инженер автономных систем
Разработка алгоритмов компьютерного зрения и управления для автономных систем. Требуется опыт в data science, Python и C++. Предлагают работу над передовыми продуктами и гибкий график.
Data Engineer
Шукаємо Data Engineer для створення масштабованих data pipelines та сховищ даних у центрі впровадження штучного інтелекту при Міноборони. Потрібен досвід від 2 років, знання Python/Scala, SQL, ETL-інструментів та хмарних технологій. Пропонують роботу з передовими AI/ML-технологіями та бронювання.
Старший разработчик баз данных (PostgreSQL)
Старший разработчик баз данных (PostgreSQL) для проекта цифровой трансформации акцизных процессов в Украине. Требуется опыт работы с PostgreSQL в высоконагруженных средах и распределенными базами данных (Citus). Компания предлагает удаленную работу, сложные задачи и возможности профессионального роста.