Data Engineer (Node.js/TypeScript)

Что предстоит делать

<p><b>Занятость: </b>Полный рабочий день (возможно оформление как подрядчик) <br><b>Локация: </b>Удаленно — часовой пояс Европы или Израиля</p><p><b>О нас</b></p><p>Мы управляем высоконагруженной B2C-платформой в сфере развлечений для взрослых: более 200 000 активных пользователей, более 30 000 создателей контента, и платежные события происходят каждую секунду. Реальные деньги, реальное время, реальный масштаб. Наши данные — одно из наших главных конкурентных преимуществ, и вы будете работать напрямую с одним из лучших аналитиков данных в индустрии для взрослых, чтобы превратить поток событий в чистые, надежные, готовые к запросам данные, которые управляют решениями по продукту, платежам и росту.</p><p><b>Роль</b></p><p>Мы ищем инженера данных, который возьмет на себя полную ответственность за наши ETL-пайплайны — системы, которые перемещают данные с нашей транзакционной платформы (MongoDB, платежные потоки, события поведения) в аналитический слой, где они превращаются в инсайты. Это не работа по настройке дашбордов. Вы будете проектировать пайплайны, которые остаются корректными и своевременными, когда деньги движутся каждую секунду и ежедневно поступают миллионы событий. Целостность данных — это главное: пропущенное платежное событие или дважды учтенная транзакция — это не косметическая ошибка, это финансовая.</p><p><b>Чем вы будете заниматься:</b></p><ul><li><b>Владеть пайплайнами. </b>Проектировать, создавать и поддерживать ETL / стриминговые пайплайны, которые принимают высоконагруженные потоки событий и платежных данных и размещают их в нашем аналитическом хранилище — надежные и сверяемые до цента.</li><li><b>Моделировать данные. </b>Работать рука об руку с нашим ведущим аналитиком данных, чтобы схема хранилища действительно отвечала на бизнес-вопросы: доходы создателей, пропускная способность платежей, удержание, LTV, когортное поведение.</li><li><b>Проектировать с учетом отказоустойчивости. </b>Создавать идемпотентные, воспроизводимые, наблюдаемые задачи, которые выдерживают всплески, повторные попытки и частичные сбои, не повреждая нижележащие данные.</li><li><b>Обрабатывать поток. </b>Перемещать события через нашу инфраструктуру очередей — BullMQ (Redis), AWS SQS и RabbitMQ — и инструментировать всё с помощью OpenTelemetry, чтобы мы могли видеть и доверять происходящему.</li><li><b>Обеспечивать корректность. </b>Сверочные проверки, обработка поздних и неупорядоченных событий, дедупликация и обратные заполнения (backfills), которые можно выполнять с уверенностью.</li><li><b>Защищать деньги. </b>Взаимодействовать с командами платежей и платформы, чтобы гарантировать, что каждая транзакция фиксируется один раз, точно и вовремя.</li></ul><p><b>Технологии, с которыми вы будете работать:</b></p><ul><li><b>Языки: </b>Node.js / TypeScript (основной); .NET / C# в некоторых сервисах.</li><li><b>Хранилища данных: </b>MongoDB (основное транзакционное хранилище), Redis.</li><li><b>Очереди и стриминг: </b>BullMQ, AWS SQS, RabbitMQ.</li><li><b>Аналитика и хранилище: </b>PostHog и его слой хранилища данных; SQL-моделирование.</li><li><b>Платформа: </b>AWS (S3, SNS и другое), Docker, Kubernetes, GitHub Actions.</li><li><b>Наблюдаемость: </b>Трассировка OpenTelemetry на каждом пайплайне — обязательно.</li></ul><p><b>О вас:</b></p><ul><li>Сильный инженер с серьезным опытом создания пайплайнов данных / ETL при высокой нагрузке (стриминг или батч, в идеале и то, и другое).</li><li>Глубокое понимание событийно-ориентированных архитектур и очередей сообщений; идемпотентность, at-least-once против exactly-once и доставка в неправильном порядке — это ваша вторая натура.</li><li>Уверенная работа с TypeScript / Node; .NET / C# — большой плюс.</li><li>Хорошее знание SQL и моделирования данных — вы можете сесть с аналитиком и спроектировать схемы, которые сделают его запросы быстрыми и очевидными.</li><li>Вы относитесь к целостности данных, связанных с деньгами, как к священному долгу, обладая инстинктами (сверка, аудит, мониторинг), чтобы это подкрепить.</li><li>Вы работали в B2C-компании в сфере развлечений для взрослых, гейминга или азартных игр — высокая нагрузка, высокая частота, реальные деньги, реальное время. Вы знаете, что это значит, когда система никогда не спит и цифры должны быть верны.</li><li>Находитесь в Европе или Израиле или работаете в их часовом поясе, с сильным пересечением с основной командой.</li></ul><p><b>Будет плюсом:</b></p><ul><li>Опыт работы с платежными / транзакционными данными и финансовой сверкой.</li><li>MongoDB change streams / CDC, инструментарий для хранилищ данных, моделирование в стиле dbt.</li><li>Уверенная работа с Kubernetes и инфраструктурой как кодом.</li></ul><p><strong>Что вы получите:</strong></p><ul><li>Полностью удаленная работа</li><li>Высокая степень ответственности с первого дня</li><li>Небольшая инженерная команда с минимальной бюрократией</li><li>Современный технологический стек</li><li>Настоящие технические вызовы</li><li>Конкурентная компенсация</li><li>Долгосрочная разработка продукта, а не работа с клиентами</li></ul> <div> <a href="https://jobs.dou.ua/companies/naviteq-ltd/vacancies/364971/#reply-btn-id">Відгукнутись на вакансію</a> </div>