Senior Data Engineer (ETL, Big Data)

Что предстоит делать

Компания Emphasoft занимается заказной разработкой IT решений для наших партнеров с западного рынка. Мы специализируемся на разработке web-приложений для стартапов на различной стадии. О проекте Мы строим глобальную платформу‑агрегатор для рынка мотоциклетных запчастей. Платформа объединяет 500+ производителей, тысячи дистрибьюторов и миллионы SKU в едином каталоге. Мы уже обрабатываем 500 миллионов записей о деталях, их совместимости и ценах — и это число растет каждый день. Стек: Bun.js / Node.js · TypeScript · PlanetScale (MySQL) · AWS · ETL Задача Данные поступают из множества источников: • REST / GraphQL API • FTP‑серверы • Парсинг сайтов • CSV / Excel‑файлы • Прямые подключения к базам данных поставщиков Наша ключевая задача — нормализовать, дедуплицировать и сопоставить эти данные, чтобы точно определить, например, что «вот этот болт подходит к конкретной модели мотоцикла». Это сложная инженерная задача на стыке ETL, Big Data, алгоритмов матчинга и высоконагруженных систем. Что предстоит делать • Проектировать и развивать ETL‑пайплайны — от приёма сырых данных до нормализации и выдачи в поиск. • Строить надёжные интеграции с API, FTP, парсерами, выгрузками из БД. • Работать с PlanetScale (MySQL‑совместимая распределённая БД) на масштабе 500M+ записей. • Улучшать качество данных — разрабатывать алгоритмы дедупликации, матчинга и разрешения сущностей. • Мигрировать существующий код с Node.js на Bun.js — переписывать критичные компоненты на современный рантайм для повышения производительности. • Рефакторить и улучшать архитектуру кода, внедрять тесты и паттерны. • Принимать ключевые технические решения и обсуждать приоритеты напрямую с основателями. Мы ищем Нам не важен конкретный язык, если вы работали с высоконагруженными системами и большими данными. Важен опыт в масштабных ETL‑задачах и понимание того, как строить системы на миллионы/миллиарды записей. Обязательно: • Опыт работы с большими данными — минимум 5 лет коммерческой разработки в области ETL / Data Engineering / Backend на высоконагруженных системах. • Опыт работы в крупных маркетплейсах (Ozon, Wildberries, Avito, Lamoda, Яндекс.Маркет, AliExpress, Amazon и т.п.) — вы точно знаете, что такое масштаб, каталоги, инвентарь, поиск и высокая нагрузка. • Глубокий опыт с реляционными БД на масштабе (PlanetScale / MySQL / Vitess / аналоги) — моделирование данных, индексы, оптимизация запросов. • Опыт построения ETL / пайплайнов данных (приём, трансформация, дедупликация). • Уверенная работа с AWS (EC2, RDS, S3, Lambda и др.). • Опыт с IaC (SST, CDK или Terraform — у нас SST). • Самостоятельность, умение работать в быстром темпе, минимальный менеджмент. • Английский Upper‑Intermediate и выше (работа в международной команде). Будет плюсом: • Знание Node.js / TypeScript (поможет на этапе миграции). • Опыт с Bun.js (мы переходим на него). • Опыт с веб‑парсингом (Puppeteer, Playwright, Cheerio). • Знакомство с fuzzy matching / ML‑методами для матчинга данных. • Опыт с поисковыми движками (Elasticsearch, Algolia, Meilisearch). • Работа с Kafka или очередями сообщений для событийных пайплайнов.

Что предлагаем