Data Engineer (Hadoop, Scala)
Медиалогии нужен инженер данных, который будет строить и оптимизировать ETL/ELT-пайплайны для системы, ежедневно обрабатывающей десятки миллионов сообщений из СМИ и соцмедиа. Понадобится опыт работы с Java/Scala, Apache Spark и всей Hadoop-экосистемой (HDFS, YARN, Hive, HBase), а также потоковой обработкой через Kafka и Spark Streaming. Работать можно удаленно или гибридно, зарплата обсуждается индивидуально; обещают ДМС, обучение, скидки от партнеров и по-настоящему нагруженные Big Data-проекты.
География удалёнки не уточнена
Уточните у работодателя, из каких стран можно работать.
Отклик отправляется на сайте источника. Регистрация в Taylor для перехода не нужна.
Что предстоит делать
Медиалогия занимается разработкой продуктов по сбору и анализу данных из СМИ и соцмедиа. Мы разрабатываем высоконагруженные системы, которые в режиме реального времени сканируют весь текстовый сегмент Интернета (100+ млн. сообщений в сутки, 1.7 млрд. метрик) и, используя уникальные лингвистические технологии, позволяют осуществлять мгновенный анализ упоминаний наших клиентов в социальных сетях, блогах, форумах и управлять их репутацией.
- разработка и оптимизация ETL/ELT-конвейеров для обработки больших данных;
- настройка и администрирование Hadoop/Spark-инфраструктуры (HDFS, YARN, Hive, HBase);
- оптимизация распределенных вычислений и запросов;
- работа с потоковыми данными (Kafka, Spark Streaming, RabbitMQ);
- участие в проектировании и масштабировании архитектуры данных;
- автоматизация процессов с использованием DevOps-практик (Docker, CI/CD).
Что ждём от вас
- высшее (неоконченное высшее) образование;
- опыт работы с Java/Scala и Big Data-фреймворками (Apache Spark, Hadoop);
- глубокие знания Hadoop-экосистемы (YARN, HDFS, Hive, HBase, Parquet);
- опыт оптимизации производительности распределенных систем;
- работа с потоковой обработкой (Kafka, Spark Streaming);
- навыки работы с SQL/NoSQL (PostgreSQL, MS SQL, MongoDB).
- Будет плюсом:
- опыт с PySpark, Flink, Airflow;
- знание Elasticsearch, ClickHouse, Vertica;
- навыки настройки кластеров и инфраструктуры.
Что предлагаем
Стек и инструменты
Зарплата не указана — оценили по рынку
На основе 98 похожих вакансий за 90 дней.
Сколько платят вам?
Вакансии показывают, что обещают работодатели. Анонимно расскажите, сколько получаете вы как Data/ML-специалиста — так появится зарплата, которую платят на деле.
Подходит ли вам эта вакансия?
Зарегистрируйтесь и загрузите резюме — посчитаем % совпадения с этой вакансией, подсветим сильные стороны и что стоит подтянуть
Ещё в Медиалогия
4 активные вакансии в компании
Разработчик C# / C# Developer
~1 345 320 ₸ оценка
Нужен C#/.NET-разработчик в команду Медиалогии — делать и поддерживать высоконагруженные парсеры открытых данных, которые круглосуточно собирают сотни миллионов сообщений из СМИ и соцмедиа. Ждут опыт от года, уверенный C# с async/await и TPL, навыки scraping/parsing, знание HTTP/WebSocket и SQL (MS SQL Server/PostgreSQL); плюсом — ElasticSearch, Kafka, Redis, Docker и Kubernetes. Предлагают удалёнку или гибрид, ДМС, корпоративное обучение и офис рядом с метро Дмитровская, зарплата обсуждается на собеседовании.
География удалёнки не уточнена
Data Quality Engineer
~1 385 800 ₸ оценка
Медиалогия ищет инженера по качеству данных (Data Quality) в команду высоконагруженной аналитики СМИ и соцмедиа. Нужно строить DQ-фреймворки, писать тесты для ETL/ELT-пайплайнов, профилировать данные, расследовать инциденты и настраивать мониторинг качества. Ждут 2-3 года опыта в Data Engineering/Data QA, сильный SQL, Python (Pandas, PySpark) и знание инструментов вроде Great Expectations, dbt, Airflow, ClickHouse и PostgreSQL. Предлагают удалённый или гибридный формат, ДМС, страхование семьи, скидки партнёров и корпоративное обучение; зарплата обсуждается на собеседовании.
География удалёнки не уточнена
.NET разработчик
~1 345 320 ₸ оценка
Компания Медиалогия ищет .NET-разработчика для развития высоконагруженных систем обработки данных из СМИ и соцмедиа. Нужно знание C#, ASP.NET MVC, опыт с SQL и желательно с брокерами сообщений. Предлагают удаленную или гибридную работу, ДМС и обучение.
География удалёнки не уточнена
Похожие вакансии
6 вакансий
Аналитик данных
~1 385 800 ₸ оценка
Команда кроссдоменной аналитики ищет аналитика данных, который будет строить оценку качества ML-моделей: разрабатывать дашборды и регулярную отчётность, развивать дерево продуктовых метрик и вести аналитику от поиска источников до отчёта в BI. Нужны уверенные SQL и Python для анализа данных, опыт визуализации в BI, работы с git, Airflow и аналитическими БД. Плюсом будет опыт работы с ML-моделями; работа предполагает тесное взаимодействие с DS-командой и продактами.
География удалёнки не уточнена
Консультант-аналитик SAP BO WEBI
~1 385 800 ₸ оценка
ДКС ищет консультанта-аналитика SAP BO WEBI для сбора требований, разработки аналитических отчётов и поддержки пользователей. Нужен опыт работы с SAP BI/BW/BO/WEBI, чтения ABAP и программирования на VBA/Excel. Предлагают официальное трудоустройство по ТК РФ, полный соцпакет, ДМС, премии и обучение языкам.
География удалёнки не уточнена
Data Engineer
~1 385 800 ₸ оценка
Команда больших данных ищет инженера данных для развития платформы: строить и оптимизировать ETL/ELT-процессы, batch- и streaming-пайплайны, модели данных и хранилище, следить за качеством данных и мониторингом. Нужны уверенные Python и SQL, опыт со Spark, ClickHouse, Hadoop, Kafka, Greenplum, S3, Airflow, Docker/K8s, Linux и Git. Работать можно гибридно или удалённо по договорённости с руководителем.
География удалёнки не уточнена
Системный аналитик
~1 385 800 ₸ оценка
Работа в команде развития корпоративного DWH: проектирование моделей данных, интеграций и контроль качества данных. Нужен опыт системным аналитиком/DWH-разработчиком от 2 лет и уверенный SQL, плюсом dbt, Iceberg, ClickHouse, Airflow. Предлагают ДМС, технику, сильную команду и свободу в принятии решений.
География удалёнки не уточнена
Senior Data scientist (Risk)
~1 385 800 ₸ оценка
Разработка и внедрение ML-моделей для финтех-сервиса BNPL: скоринговые, антифрод и коллекшен модели. Требуется промышленный Python, опыт в ML, SQL, знание Django/Flask/FastAPI. Предлагают работу в Москве с гибридным или удалённым форматом, ДМС и бонусы.
География удалёнки не уточнена
BI-аналитик
~1 385 800 ₸ оценка
В Rapporto ищут BI-аналитика для создания и поддержки дашбордов в Superset, работы с бизнес- и продуктовыми метриками, контроля данных и общения с заказчиками. Нужен опыт BI-аналитиком от 2 лет, уверенные дашборды и понимание визуализации данных. Предлагают удалённую работу по РФ, график 5/2, официальное трудоустройство и ДМС.
География удалёнки не уточнена