22
1 мес. назад
Разработчик Big Data
В компании Честный Знак открыта вакансия разработчика Big Data. Вы будете работать с высоконагруженной платформой, заниматься архитектурными решениями и разработкой ETL процессов. Ожидается опыт работы с Hadoop и Spark, а также знание SQL и Scala.
middle
удалённо
Тип занятости
full-time
Опубликовано
21 ноября 2025
Языки
English: Pre-Intermediate
Вакансии в Telegram-канале
Свежие вакансии
Каждый день
описание
О компании:
Мы создаем единую систему цифровой маркировки и прослеживания товаров в России и странах ЕАЭС. Наша система позволяет снизить уровень контрафакта и гарантировать подлинность товаров, производимых в стране или ввозимых в нее.
Честный Знак - одна из самых высоконагруженных платформ, которой нет аналогов:
— микросервисная архитектура на Kubernetes с Istio в нашей собственной инфраструктуре;
— петабайты живых данных, с которыми круглосуточно работают наши сервисы и клиенты через API;
— миллиарды транзакций в день и десятки тысяч запросов в секунду;
— аналитика в реальном времени на потоках событий и масштабная батчевая аналитика по ночам;
— мобильное приложение с 27+ миллионов установок;
— десятки релизов в продакшн каждый день, feature flags, инфраструктура как код.
Под капотом — Kafka, Cassandra, Spark, Airflow, Iceberg, ClickHouse, GitLab CI/CD, Helm, Prometheus, Grafana.
Мы не боимся сложных задач и запускаем в продакшн смелые инженерные идеи!
О команде:
Данные – это нефть 21 века. Данные «Честного Знака» - настоящий Клондайк, глобальное месторождение эксклюзивных фактов о товарообороте страны. Мы трекаем каждый экземпляр из маркированных товарных групп и на этом строим уникальные показатели.
Мы ищем в bigdata-команду разработчика, обладающего уверенными знаниями в области построения систем на базе Hadoop/Spark, способного реализовать дорожную карту по развитию озера данных «Честного Знака».
Технологический стек:
Текущий стек команды: Hadoop / S3 MinIO / Spark 3/4 (batch/streaming) / Scala / SQL / Hive / Kafka / HBase / ClickHouse / PostgreSQL / Airflow / k8s / Zeppelin / Jupyter / Iceberg (MOR, COW) / Cassandra.
Смотрим в сторону: DBT для «золотого» слоя данных / YTsaurus / Comet, Gluten и др.
Наши данные в числах: поток > 20k RPS, > 1,5e12 фактов, > 18 Пб данных в HDFS.
Влиять на стратегию развития архитектуры платформы, исследованиями и разработкой пилотных решений.
Предлагать, отстаивать и реализовывать архитектурные решения (POC).
Настраивать сборку приложений и их размещение как docker контейнеров в k8s, мониторинг их работоспособности.
Участвовать в pre-prod тестировании, выводе приложений в PROD среду и диагностике в случае сбоев.
Тесное сотрудничать с другими командами департамента по внедрению разработанных решений.
Прототипировать ETL процессы c необходимым эмулированием данных с использованием Jupyter Lab / Zeppelin.
Работать в команде преимущественно в режиме удалённой работы.
От успешного кандидата мы ожидаем:
Подтвержденный опыт разработки от 3-х лет.
Понимание базовых структур данных.
Опыт применения алгоритмов и возможность про них рассказать.
Уверенные знания и опыт работы в стеке Spark (batch/streaming) on Hadoop.
Опыт работы с реляционными БД.
Экспертное знание SQL.
Уверенное знание Scala/Python.
Знание и опыт работы с DevOps, понимание принципов CI/CD в области обработки данных.
Почему именно мы: Возможности для развития
Участие в митапах и конференциях: делимся знаниями и учимся у других.
Внутренние корпоративные тренинги.
Buddy-поддержка: путеводитель в корпоративную жизнь компании.
Заботимся о сотрудниках
Здоровье: ДМС (включая стоматологию) после испытательного срока, 100% оплата больничных (до 14 дней в год), полис путешественника, корпоративные психологи.
Материальная помощь в сложных жизненных ситуациях.
Кафетерий льгот: не только на спорт и обучение, но и ИТ-сервисы, расширение ДМС для семьи.
Удобство и комфорт
Оформление по ТК РФ в аккредитованной ИТ-компании.
Работай удаленно, в гибридном формате или из офиса в центре Москвы/Петербурга (рядом с метро).
Гибкое начало рабочего дня.
Выдаем рабочую технику: ноутбук, монитор, гарнитура — всё для продуктивной работы.
Жизнь в компании
Открытая культура общения.
Спорт: футбол, волейбол, йога — вариантов много, выбирай или создай свое комьюнити!
Воркшопы, праздники для детей, книжный клуб — скучно не будет.
Стильный мерч, который хочется носить.
Реферальная программа: приводи друзей и получай бонусы.
Если ты хочешь расти профессионально, работать с классными людьми и при этом чувствовать заботу — ждем в нашей команде!
Похожие вакансии
6 вакансии
Аналитик данных
Присоединяйтесь к команде 'Ренессанс Банка' в роли аналитика данных. Вам предстоит работать с кредитными продуктами и риск-метриками…
middle
удалённо
Data Engineer
Компания ищет Data Engineer с опытом от 2 лет для работы над высоконагруженными проектами. Пред…
middle
удалённо
Игровой аналитик
Студия ищет Игрового аналитика с опытом от 3 лет. Основные задачи — анализ игров…
middle
удалённо
Аналитик по продажам
В компании SEMILY открыта вакансия аналитика по продажам. Вы будете заниматься анализом данных, формированием ценовой стратегии и …
middle
удалённо
