Разработчик Big Data (Spark/Hadoop)
Ищем опытного разработчика Big Data для развития озера данных в высоконагруженной системе маркировки товаров. Нужен уверенный опыт работы со Spark, Hadoop, SQL и Scala/Python, а также понимание DevOps. Предлагают удаленную работу, гибкий график, ДМС и возможности для профессионального роста.
Зарплата не указана — оценили по рынку
На основе 96 похожих вакансий за 90 дней.
Что предстоит делать
О компании: Мы создаем единую систему цифровой маркировки и прослеживания товаров в России и странах ЕАЭС. Наша система позволяет снизить уровень контрафакта и гарантировать подлинность товаров, производимых в стране или ввозимых в нее. Честный Знак - одна из самых высоконагруженных платформ, которой нет аналогов: — микросервисная архитектура на Kubernetes с Istio в нашей собственной инфраструктуре; — петабайты живых данных, с которыми круглосуточно работают наши сервисы и клиенты через API; — миллиарды транзакций в день и десятки тысяч запросов в секунду; — аналитика в реальном времени на потоках событий и масштабная батчевая аналитика по ночам; — мобильное приложение с 27+ миллионов установок; — десятки релизов в продакшн каждый день, feature flags, инфраструктура как код. Под капотом - Kafka, Cassandra, Spark, Airflow, Iceberg, ClickHouse, GitLab CI/CD, Helm, Prometheus, Grafana. Мы не боимся сложных задач и запускаем в продакшн смелые инженерные идеи! О команде: Данные - это нефть 21 века. Данные «Честного Знака» - настоящий Клондайк, глобальное месторождение эксклюзивных фактов о товарообороте страны. Мы трекаем каждый экземпляр из маркированных товарных групп и на этом строим уникальные показатели. Мы ищем в bigdata-команду разработчика, обладающего уверенными знаниями в области построения систем на базе Hadoop/Spark, способного реализовать дорожную карту по развитию озера данных «Честного Знака». Технологический стек: Текущий стек команды: Hadoop / S3 MinIO / Spark 3/4 (batch/streaming) / Scala / SQL / Hive / Kafka / HBase / ClickHouse / PostgreSQL / Airflow / k8s / Zeppelin / Jupyter / Iceberg (MOR, COW) / Cassandra. Смотрим в сторону: DBT для «золотого» слоя данных / YTsaurus / Comet, Gluten и др. Наши данные в числах: поток > 20k RPS, > 1,5e12 фактов, > 25 Пб данных в HDFS.
- Влиять на стратегию развития архитектуры платформы, исследованиями и разработкой пилотных решений.
- Предлагать, отстаивать и реализовывать архитектурные решения (POC).
- Настраивать сборку приложений и их размещение как docker контейнеров в k8s, мониторинг их работоспособности.
- Участвовать в pre-prod тестировании, выводе приложений в PROD среду и диагностике в случае сбоев.
- Сотрудничать с другими командами департамента по внедрению разработанных решений.
- Прототипировать ETL процессы c необходимым эмулированием данных с использованием Jupyter Lab / Zeppelin.
- От успешного кандидата мы ожидаем:
- Подтвержденный опыт разработки от 3-х лет.
- Понимание базовых структур данных.
- Опыт применения алгоритмов и возможность про них рассказать.
- Уверенные знания и опыт работы в стеке Spark (batch/streaming) on Hadoop.
- Опыт работы с реляционными БД.
- Экспертное знание SQL.
- Уверенное знание Scala/Python.
- Знание и опыт работы с DevOps, понимание принципов CI/CD в области обработки данных.
- Почему именно мы: Возможности для развития
- Участие в митапах и конференциях: делимся знаниями и учимся у других.
- Внутренние корпоративные тренинги.
- Buddy-поддержка: путеводитель в корпоративную жизнь компании.
- Заботимся о сотрудниках
- Здоровье: ДМС (включая стоматологию) после испытательного срока, 100% оплата больничных (до 14 дней в год), полис путешественника, корпоративные психологи.
- Материальная помощь в сложных жизненных ситуациях.
- Кафетерий льгот: не только на спорт и обучение, но и ИТ-сервисы, расширение ДМС для семьи.
- Удобство и комфорт
- Оформление по ТК РФ в аккредитованной ИТ-компании.
- Работай удаленно, в гибридном формате или из офиса в центре Москвы/Петербурга (рядом с метро).
- Гибкое начало рабочего дня.
- Выдаем рабочую технику: ноутбук, монитор, гарнитура — всё для продуктивной работы.
- Жизнь в компании
- Открытая культура общения.
- Спорт: футбол, волейбол, йога — вариантов много, выбирай или создай свое комьюнити!
- Воркшопы, праздники для детей, книжный клуб — скучно не будет.
- Стильный мерч, который хочется носить.
- Реферальная программа: приводи друзей и получай бонусы.
- Если ты хочешь расти профессионально, работать с классными людьми и при этом чувствовать заботу — ждем в нашей команде!
Стек и инструменты
Подходит ли вам эта вакансия?
Зарегистрируйтесь и загрузите резюме — посчитаем % совпадения с этой вакансией, подсветим сильные стороны и что стоит подтянуть
Ещё в Честный Знак
10 активных вакансий в компании
Специалист по тестированию на проникновение (Red Team)
~799 500 – 1 599 000 ₸ оценка
Ищем опытного специалиста по пентесту и Red Team для высоконагруженной платформы цифровой маркировки. Нужно проводить тестирования на проникновение, моделировать действия злоумышленников, анализировать Active Directory и разрабатывать инструменты автоматизации. Предлагают удаленную работу, ДМС, гибкий график и возможности для профессионального роста.
Threat Intelligence Analyst
~1 127 275 – 2 195 960 ₸ оценка
Ищем аналитика Threat Intelligence для работы с киберугрозами в высоконагруженной платформе. Нужно знание CTI, MITRE ATT&CK, принципов работы SOC и SIEM, опыт программирования. Предлагают удаленку, ДМС, гибкий график и развитие.
Архитектор ИБ / Ведущий инженер по информационной безопасности
~2 372 725 ₸ оценка
Ищем опытного архитектора ИБ для высоконагруженной платформы цифровой маркировки. Нужно проектировать и сопровождать архитектуру безопасности, подбирать и интегрировать средства защиты, работать с требованиями ФСТЭК и ФСБ. Предлагают удалённую работу, ДМС, гибкий график и возможности для развития.
Специалист по мониторингу и реагированию на инциденты ИБ (SOC)
~2 372 725 ₸ оценка
Ищем опытного специалиста по информационной безопасности для работы в SOC высоконагруженной платформы. Вы будете заниматься мониторингом и расследованием инцидентов, разработкой правил корреляции и поиском скрытых угроз. Требуется опыт от 3 лет, знание SIEM и СЗИ, а также английского языка. Предлагают удаленную работу, ДМС и возможности для развития.
Похожие вакансии
6 вакансий
Инженер компьютерного зрения / ML
~900 000 – 1 500 000 ₸ оценка
Проект — proof of concept рентгеновской дефектоскопии лопастей ветрогенераторов: нужно писать на Python пайплайны обработки гигапиксельных снимков и правила детекции дефектов, вести разметку и давать честные метрики, а также сделать инструмент для проверки находок экспертом. Ждут 3+ года в computer vision / ML, уверенный Python (NumPy, OpenCV, pandas), опыт разметки, воспроизводимых пайплайнов и тестов, рабочий английский. Предлагают удалёнку, гибкий график, проекты для PayPal, Philips, Toyota и компенсации на медицину, спорт и обучение.
Инженер Computer Vision / ML
~2 697 965 ₸ оценка
Проект на 6–8 месяцев по Computer Vision для рентгеновского контроля лопастей ветрогенераторов, с перспективой превратиться в продукт. От вас нужен Python (NumPy, OpenCV, pandas), опыт работы с большими изображениями (тайлинг, сшивка, сохранение координат), правильная оценка моделей, тесты и, главное, участие в разметке и проверке данных — опыт в рентгене не требуется, домену научат. Взамен предлагают удалённую работу, гибкий график, конкурентную оплату, медкомпенсацию, курсы английского, спорт и проекты для крупных зарубежных клиентов.
Инженер Computer Vision / ML
~2 697 965 ₸ оценка
Проект по рентгеновскому контролю лопастей ветрогенераторов ищет инженера CV/ML в команду из двух человек: вы отвечаете за разметку данных, реализацию и тесты правил детекции дефектов, воспроизводимые пакетные пайплайны, метрики и инструмент для проверки находок экспертом. Нужны 3+ года в computer vision или прикладном ML с реальными изображениями, уверенный Python (NumPy, OpenCV, pandas), опыт работы с огромными изображениями (тайлинг и сохранение координат), аккуратная оценка качества и автотесты; опыт в рентгене не требуется — домену научат. Предлагают удалёнку, гибкий график, конкурентную оплату, компенсацию медицины и спорта, курсы английского и проекты для крупных заказчиков вроде PayPal, Philips и Toyota.
Старший инженер Computer Vision (рентгеновская инспекция)
~2 697 965 ₸ оценка
Проект — proof of concept рентгеновской инспекции лопастей ветрогенераторов: нужно построить пайплайн классической обработки изображений, который находит тонкий металлический проводник внутри композита и определяет место обрыва, а также проверяет, можно ли достоверно детектировать дефекты клеевого соединения. Ждут 4+ года в Computer Vision и обработке изображений, сильный Python с NumPy, OpenCV и scikit-image, опыт работы с изображениями, не помещающимися в память, и постановки экспериментов, отделяющих ограничения съёмки от ограничений алгоритма. Опыт в рентгене и NDT не нужен — физике научат; предлагают конкурентную оплату, гибкий график, удалёнку, компенсацию медицины и English-курсы.
Старший инженер компьютерного зрения
~900 000 – 1 500 000 ₸ оценка
Нужен старший инженер компьютерного зрения, который возглавит команду из двух человек и сделает proof of concept рентгеновской инспекции лопастей ветряных турбин: искать разрыв тонкого металлического проводника внутри композита на огромных сшитых снимках и оценить, реально ли вообще увидеть дефекты клеевого соединения. Основная работа — классическая обработка изображений на Python (NumPy, OpenCV, scikit-image): нормализация по толщине, тайлинг, трассировка линейных структур, калибровка порогов; обучение применяется только там, где даёт выигрыш. Опыт в рентгене и NDT не нужен — важнее 4+ года в CV на реальных «грязных» данных, умение отличать промах алгоритма от отсутствия сигнала в снимке и хороший английский. Предлагают удалённую работу, гибкий график, оплату медицинских расходов, курсы английского и компенсацию спорта.
Старший инженер компьютерного зрения (Computer Vision)
~2 697 965 ₸ оценка
Нужен старший инженер по компьютерному зрению, который возглавит небольшую команду и построит методику анализа рентгеновских снимков лопастей ветрогенераторов: найти обрыв металлического проводника в композите и оценить, видны ли надёжно дефекты клеевых соединений. Ключевое — уверенный Python (NumPy, OpenCV, scikit-image), классическая обработка изображений, работа с гигантскими снимками и умение отличать ограничение съёмки от ограничения алгоритма; опыт в рентгене не нужен, физике научат. Проект на 6–8 месяцев с перспективой продукта: удалённая работа, гибкий график, конкурентная оплата, ДМС, английский и компенсация фитнеса.