Старший Data Engineer

Что предстоит делать

Мы ищем Senior Data Engineer для работы над проектом в технологической столице мира – Кремниевой долине. Идея проекта Проект был основан в 2014 году с целью объединения частных и государственных университетов с обычными людьми, такими как мы. У вас есть множество аудиторий, спортзалов, учебных классов и других помещений, доступных для использования сообществом – планируйте использование объектов и управляйте запросами от сообщества в одном месте. Только представьте: вы футболист и можете арендовать футбольное поле в Гарварде, чтобы поиграть с друзьями. Здорово, правда? Обязательные требования: 4+ лет опыта в Data Engineering или смежных ролях; Уверенные навыки SQL и практический опыт работы с PostgreSQL (включая Aurora Serverless); Твердые знания Python для обработки данных и автоматизации; Опыт создания и поддержки ETL/ELT пайплайнов с использованием облачных инструментов (например, AWS Lambda, S3, SQS); Подтвержденный опыт работы с MongoDB и MongoDB Atlas, включая событийно-ориентированные архитектуры с использованием Atlas Triggers, Stream Processing; Владение dbt для создания модульных, тестируемых и хорошо документированных рабочих процессов трансформации данных; Хорошее понимание принципов моделирования данных для OLAP/OLTP систем, включая нормализацию и размерное моделирование; Подтвержденный опыт проектирования и внедрения хранилищ данных и витрин данных; Рабочие знания Node.js, особенно в части бэкенд-логики, связанной с загрузкой или трансформацией данных; Знакомство с облачными платформами данных (например, AWS) и паттернами serverless computing; Техническое образование (например, Computer Science, Engineering, Math) будет плюсом; Английский язык уровня Upper-Intermediate или выше для эффективного общения и документирования. Мягкие навыки: Проактивность – вы берете на себя ответственность и действуете без ожидания указаний; Внимательность к деталям – вы предоставляете точную, качественную работу; Инициативность – вы стремитесь улучшать процессы и предпринимать действия.

• Проектировать, внедрять и поддерживать масштабируемые и надежные пайплайны данных с использованием Python, dbt и AWS Lambda;
• Создавать и оптимизировать архитектуры данных для поддержки аналитики, отчетности и сценариев машинного обучения, включая моделирование хранилищ данных и витрин данных на PostgreSQL (Aurora Serverless);
• Разрабатывать и управлять ELT-процессами, которые извлекают данные из MongoDB (с использованием Atlas triggers) и загружают их в промежуточные и производственные слои в PostgreSQL;
• Обеспечивать согласованность и происхождение данных с помощью надежных проверок качества данных, аудита и логики сверки;
• Сотрудничать с кросс-функциональными командами для сбора требований к данным, понимания бизнес-логики и их преобразования в эффективные модели данных и трансформации;
• Мониторить и устранять неполадки в пайплайнах загрузки на основе SQS/Lambda, решая проблемы, связанные с параллелизмом, обработкой сообщений и дублированием данных;
• Вносить вклад в проектирование семантического слоя, используемого BI-инструментами и инструментами отчетности, для обеспечения согласованности и доступности бизнес-метрик;
• Поддерживать и развивать модели dbt (staging, intermediate и marts) в соответствии с лучшими практиками разработки ПО и аналитики;
• Стимулировать непрерывное совершенствование процессов Data Engineering и стандартов управления данными, обеспечивая масштабируемость, поддерживаемость и безопасность.