Старший Data Engineer

Что предстоит делать

<h3>О позиции</h3><p>Automat-it — это all-in AWS Premier Partner и Managed Services Provider, специализирующийся на экосистеме стартапов. С более чем 800 клиентами и 500+ сертификациями AWS, Automat-it привносит практическую экспертизу в области AI, DevOps и FinOps, чтобы помочь быстрорастущим стартапам расти, поставлять продукты и побеждать. Наши клиенты значительно экономят время выхода на рынок и оптимизируют производительность и затраты на облако.</p><p>Мы работаем в регионах EMEA и США, ежедневно стимулируя инновации и решая сложные задачи. Присоединяйтесь к нам, чтобы развивать свои навыки, воплощать смелые идеи и помогать строить будущее технологий.</p><p>Мы ищем Senior Data Engineer, который присоединится к нашей растущей практике Data &amp; Analytics и будет создавать современные data-решения для наших клиентов на AWS.</p><p>Это роль с высокой степенью практической работы. Вы будете работать с различными клиентскими средами и задачами в области данных — от модернизации устаревших пайплайнов и построения lakehouse-платформ до оптимизации аналитических нагрузок и полного владения небольшими data-платформами от начала до конца.</p><p>Вы не будете ограничены одним стеком или одним долгосрочным продуктом. Один проект может включать Spark и Apache Iceberg, другой — производительность Redshift и моделирование данных, а третий — Kafka, OpenSearch или новую data-платформу, построенную от ingestion до аналитики.</p><p>Мы ищем человека, который способен взять на себя ответственность за задачу в области data engineering, принимать обоснованные технические решения и работать самостоятельно, не нуждаясь в постоянном руководстве.</p> <p>📍 Место работы: Украина, удалённо</p> <p>Если вас заинтересовала эта возможность, пожалуйста, отправьте своё CV на английском языке.</p><h3>Обязанности</h3><ul><li>Проектировать, создавать и оптимизировать production data pipelines и data-платформы на AWS.</li><li>Создавать масштабируемые нагрузки по обработке данных с использованием Spark/PySpark, Python и SQL.</li><li>Создавать и модернизировать data lakes и lakehouse-архитектуры, работая с такими технологиями, как Amazon S3, Apache Iceberg, AWS Glue и связанными data-сервисами.</li><li>Проектировать, устранять неполадки и оптимизировать аналитические нагрузки и хранилища данных, включая Amazon Redshift и другие OLAP-платформы.</li><li>Модернизировать устаревшие и неэффективные data-нагрузки, включая перенос существующей обработки ETL/ELT на масштабируемые распределённые data-архитектуры.</li><li>Работать со streaming и event-driven data pipelines с использованием таких технологий, как Kafka, Kinesis Data Firehose и связанных сервисов.</li><li>Исследовать реальные проблемы production-данных — от узких мест производительности и проблем моделирования данных до зависимостей upstream/downstream — и рекомендовать практические решения.</li><li>Брать на себя ответственность за клиентские проекты от начала до конца: от понимания технической задачи до реализации, тестирования и поставки.</li><li>При необходимости работать напрямую с клиентами для уточнения требований, объяснения технических решений и рекомендации решений на основе вашей экспертизы.</li><li>Создавать data-фундамент для аналитических и ML-нагрузок, сотрудничая с Data Scientists, DevOps и MLOps-инженерами.</li><li>При необходимости участвовать в создании дашбордов и аналитики с использованием QuickSight или других BI-инструментов.</li><li>Применять практические инженерные подходы в области качества данных, тестирования, CI/CD, безопасности, governance и автоматизации инфраструктуры.</li></ul><h3>Требования</h3><ul><li>Серьёзный production-опыт в Data Engineering с умением самостоятельно вести и поставлять data-проекты.</li><li>Глубокий практический опыт с Apache Spark / PySpark и распределённой обработкой данных.</li><li>Сильные навыки Python и SQL.</li><li>Практический опыт создания data-решений на AWS.</li><li>Сильное понимание data lakes, lakehouse-архитектур, ETL/ELT, моделирования данных и обработки данных в масштабе.</li><li>Опыт с аналитическими базами данных и хранилищами данных. Сильный опыт с Amazon Redshift крайне ценен; глубокий опыт с такими платформами, как Snowflake, Synapse или аналогичными OLAP-технологиями, также релевантен.</li><li>Понимание streaming-архитектур и технологий, таких как Kafka или Amazon Kinesis.</li><li>Способность устранять неполадки в существующих data-системах, понимать, как данные проходят через upstream и downstream компоненты, и улучшать производительность и надёжность.</li><li>Способность работать автономно, принимать прагматичные технические решения и нести ответственность за поставку.</li><li>Хорошие коммуникативные навыки и способность обсуждать технические проблемы и решения напрямую с клиентами на английском языке.</li></ul><p><strong>Будет плюсом</strong></p><ul><li>Опыт с Apache Iceberg или другими современными открытыми табличными форматами и lakehouse-технологиями.</li><li>Опыт с Amazon OpenSearch Service / Elasticsearch.</li><li>Опыт с BI и инструментами визуализации, такими как Amazon QuickSight, Tableau или Power BI.</li><li>Terraform и Infrastructure as Code.</li><li>Практики CI/CD для data pipelines, включая тестирование и валидацию данных.</li><li>Опыт подготовки data-платформ для ML-нагрузок с использованием таких сервисов, как Amazon SageMaker.</li><li>Знакомство с Amazon Bedrock, GenAI или agentic development.</li><li>Опыт с Databricks, Snowflake, ClickHouse или другими современными data-платформами</li></ul> <h3>Как выглядит успех в первый год</h3><ul><li>Самостоятельно ведёт назначенные data-проекты от начала до конца: от понимания задачи и принятия технических решений до реализации, устранения неполадок, тестирования и успешной поставки при минимальном надзоре.</li><li>Обладает сильной практической экспертизой по основному data-стеку команды и уверенно работает в различных клиентских средах, включая Spark, Python/SQL, data lakes/lakehouses, аналитические и NoSQL базы данных, streaming и другие технологии, используемые командой.</li><li>Способен самостоятельно исследовать незнакомые data-проблемы, выявлять проблемы производительности или моделирования данных, понимать зависимости upstream/downstream и рекомендовать клиентам прагматичные решения.</li><li>Непрерывно расширяет техническую глубину, следит за современными Data-технологиями и паттернами и способен быстро осваивать новые технологии по мере развития клиентских проектов и практики Data.</li></ul><h3>Преимущества</h3><ul><li>Профессиональное обучение и сертификации, оплачиваемые компанией (AWS, FinOps, Kubernetes и т.д.)</li><li>Международная рабочая среда</li><li>Реферальная программа — сотрудничайте с коллегами и получайте бонус</li><li>Корпоративные мероприятия и социальные встречи (happy hours, командные мероприятия, обмен знаниями и т.д.)</li><li>Занятия английским языком</li><li>Тренинги по soft skills</li></ul><p>Преимущества, специфичные для конкретной страны, будут обсуждаться в процессе найма.</p><p>Automat-it стремится создавать рабочую среду, которая обеспечивает равные возможности для всех, и считает, что разнообразный коллектив имеет решающее значение для нашего успеха. Наши решения о найме основаны на вашем опыте и навыках, признавая ценность, которую вы привносите в нашу </p> <div> <a href="https://jobs.dou.ua/companies/automat-it/vacancies/320601/#reply-btn-id">Откликнуться на вакансию</a> </div>