Старший Data Engineer

Что предстоит делать

<h3>Senior Data Engineer </h3><p>Всем привет!<br>Мы ищем <strong>Senior Data Engineer </strong>для присоединения к проекту в технологической столице мира — Кремниевой долине.</p><p><strong>Идея проекта</strong> <br>Проект был основан ещё в 2014 году с целью соединить частные и государственные университеты с обычными людьми, такими как мы. В вашем распоряжении множество аудиторий, спортзалов, учебных классов и других вариантов помещений, доступных для использования сообществом —<br>планируйте использование объектов и управляйте запросами от сообщества в одном месте.</p><p>Только представьте, что вы футболист и можете арендовать футбольное поле в Гарварде, чтобы поиграть с друзьями. Здорово, правда?</p><p><strong>Какие интересные вещи продукт делает для сообщества?</strong> <br>Продукт трансформирует то, как публичные и частные пространства обнаруживаются, бронируются и используются сообществами — всё онлайн и доступно откуда угодно.</p><p><strong>Рабочие часы, как правило, до <nobr>19:00–20:00</nobr> по киевскому времени, плюс поздний звонок дважды в месяц около 23:00</strong> <br><br><strong>Каков размер и структура команды?</strong> <br>Наша команда состоит из: 1 Tech Lead, 2 Front-End разработчиков, 3 Back-End разработчиков, 1 React-Native разработчика, 2 UI/UX дизайнеров, 2 QA, 1 AQA и PM.</p><p><strong>Сколько этапов собеседования?</strong> <br>— Интервью с рекрутером — до 30 мин.;<br>— Техническое интервью — до 1 часа;<br>— Интервью с клиентом — до 1 часа.</p><p><strong>Требования:</strong></p><p><strong>Обязательно:</strong></p><ul><li>5+ лет опыта в Data Engineering или смежных ролях;</li><li>Сильные навыки SQL и практический опыт работы с PostgreSQL (включая Aurora Serverless);</li><li>Прочные знания Python для обработки данных и автоматизации;</li><li>Опыт построения и поддержки ETL/ELT пайплайнов с использованием cloud-native инструментов (например, AWS Lambda, S3, SQS);</li><li><strong>Подтверждённый опыт работы с MongoDB и MongoDB Atlas, включая event-driven архитектуры с использованием Atlas Triggers, Stream Processing;</strong></li><li>Владение dbt для построения модульных, тестируемых и хорошо документированных рабочих процессов трансформации данных;</li><li>Хорошее понимание принципов моделирования данных для OLAP/OLTP систем, включая нормализацию и размерное моделирование;</li><li>Подтверждённый опыт проектирования и реализации хранилищ данных и витрин данных;</li><li>Рабочее знание Node.js, особенно в части backend-логики, связанной с загрузкой или трансформацией данных;</li><li>Знакомство с облачными платформами данных (например, AWS) и паттернами serverless-вычислений;</li><li>Техническое образование (например, Computer Science, Engineering, Math) будет плюсом;Upper-Intermediate английского или выше для эффективной коммуникации и документации.</li></ul><p><strong>Soft skills:</strong></p><ul><li>Проактивность — вы берёте на себя ответственность и действуете, не дожидаясь указаний;</li><li>Внимательность к деталям — вы выполняете точную, качественную работу;</li><li>Инициативность — вы стремитесь улучшать процессы и действовать.</li></ul><p><strong>Обязанности:</strong></p><ul><li>Проектировать, реализовывать и поддерживать масштабируемые и надёжные пайплайны данных с использованием Python, dbt и AWS Lambda;</li><li>Строить и оптимизировать архитектуры данных для поддержки аналитики, отчётности и сценариев машинного обучения, включая моделирование хранилищ данных и витрин данных на PostgreSQL (Aurora Serverless);</li><li>Разрабатывать и управлять ELT-процессами, которые извлекают данные из MongoDB (с использованием Atlas triggers) и загружают их в staging и production слои в PostgreSQL;</li><li>Обеспечивать согласованность и происхождение данных, применяя надёжные проверки качества данных, аудит и логику сверки;</li><li>Сотрудничать с кросс-функциональными командами для сбора требований к данным, понимания бизнес-логики и преобразования их в эффективные модели данных и трансформации;</li><li>Мониторить и устранять неполадки в пайплайнах загрузки на основе SQS/Lambda, решая проблемы, связанные с конкурентностью, обработкой сообщений и дублированием данных;</li><li>Вносить вклад в проектирование семантического слоя, используемого BI и инструментами отчётности, для обеспечения согласованности и доступности бизнес-метрик;</li><li>Поддерживать и развивать dbt-модели (staging, intermediate и marts) в соответствии с лучшими практиками software engineering и аналитики;</li><li>Обеспечивать непрерывное улучшение процессов data engineering и стандартов управления данными, гарантируя масштабируемость, поддерживаемость и безопасность.</li></ul> <div> <a href="https://jobs.dou.ua/companies/ralabs/vacancies/375777/#reply-btn-id">Откликнуться на вакансию</a> </div>