Data Engineer
Ищем Data Engineer для поддержки Data Intelligence Platform: проектирование и оптимизация моделей данных, ETL-пайплайнов и облачной инфраструктуры на AWS. Нужен опыт 7–9 лет, сильный SQL, Spark, Glue, EMR, Kafka/Kinesis, Java/Python/Scala, Terraform и CI/CD. Работа удалённая, с тесным взаимодействием с data science командами и бизнес-подразделениями.
Удалённо из любой страны
Указано в источнике: «Anywhere in the World».
Другие условия найма уточняйте в описании работодателя.
Отклик отправляется на сайте источника. Регистрация в Taylor для перехода не нужна.
Что предстоит делать
Местоположение головного офиса: Резюме Мы ищем Data Engineer для поддержки разработки Data Intelligence Platform. Эта роль сосредоточена на моделировании данных, data-сервисах, data-пайплайнах и облачной инфраструктуре данных для отчётности, аналитики и data science. Общая информация Этот Data Engineer будет поддерживать операции, связанные с данными, в рамках более широкой команды Data Intelligence Platform. Работа включает создание и использование веб-сервисов, интеграцию поисковых технологий, поддержку движков персонализации и рекомендаций, а также применение лучших практик data engineering на всей платформе. Роль охватывает облачную архитектуру данных, производительность баз данных, автоматизацию пайплайнов и поддержку data scientists, исследователей и внутренних бизнес-подразделений. Среда включает инфраструктуру на базе AWS и сочетание структурированных и неструктурированных источников данных. Задачи и результаты - Участвовать в проектировании архитектуры и реализации высокопроизводительных, масштабируемых и оптимизированных решений для данных. - Создавать модели данных с нуля, опираясь на прочные основы SQL. - Писать и оптимизировать SQL-запросы внутри приложений. - Обеспечивать производительность, безопасность и доступность баз данных. - Подготавливать документацию и технические спецификации. - Выполнять процедуры работы с базами данных, такие как обновления, резервное копирование, восстановление и миграция. - Профилировать использование серверных ресурсов и при необходимости оптимизировать конфигурации. - Проектировать, создавать и автоматизировать развёртывание data-пайплайнов и приложений. - Интегрировать данные из локальных баз данных и внешних источников данных с помощью REST API и инструментов сбора данных. - Сотрудничать с бизнес-подразделениями и командами data science по вопросам доступа к данным, их преобразования, обработки и отчётности. - Поддерживать внедрение, решение технических проблем и обучение, связанные с экосистемой data lake. - Работать с командой над управлением ресурсами AWS, включая кластеры EMR и ECS. - Поддерживать provisioning, мониторинг, конфигурацию и обслуживание инструментов AWS. - Оценивать и продвигать новые облачные технологии, которые улучшают возможности и снижают операционные затраты. - Поддерживать усилия по автоматизации с использованием Infrastructure as Code с Terraform и инструментов CI/CD, таких как Jenkins. - Работать с командой над внедрением data governance, контроля доступа и снижения рисков безопасности. Требуемый опыт - 7–9 лет опыта проектирования и разработки облачных моделей данных, ETL-пайплайнов и инфраструктуры. - Опыт работы как со структурированными, так и с неструктурированными данными. - Уверенное владение SQL в популярных базах данных. - Опыт оптимизации больших и сложных SQL-запросов. - Знание лучших практик для реляционных баз данных. - Опыт настройки движков баз данных и оркестрации кластеров. - Способность планировать требования к ресурсам на основе высокоуровневых спецификаций. - Способность устранять типовые проблемы баз данных. - Опыт работы с Spark, Glue, EMR и Apache Kafka или AWS Kinesis. - Опыт работы с инструментами контроля версий, такими как Git или Subversion. - Опыт использования автоматизированных систем сборки и рабочих процессов CI/CD. - Опыт программирования на Java, Python и Scala. - Знание структур данных и алгоритмов. - Знание реляционных, NoSQL, графовых, документных, key-value и time-series баз данных. - Знание проектирования и управления масштабируемыми моделями данных. - Знание развёртывания ML-моделей. - Знание облачных платформ AWS. - Знание TDD и BDD. - Сильный интерес к совершенствованию навыков разработки ПО, фреймворков и технологий. Ключевые особенности сотрудничества - Возможность работать в области моделирования данных, data-сервисов и data science в рамках более широкой Data Intelligence Platform. - Знакомство с разнообразной технической средой, охватывающей AWS, ETL-пайплайны, базы данных, поисковые технологии и рекомендательные системы. - Прямое сотрудничество с командами data science и внутренними стейкхолдерами по вопросам отчётности, преобразования данных и возможностей платформы. Чтобы подать заявку: https://weworkremotely.com/remote-jobs/toptal-senior-data-engineer-aws-data-lake-pipeline-architecture
Стек и инструменты
Зарплата не указана — оценили по рынку
На основе 107 похожих вакансий за 90 дней.
Сколько платят вам?
Вакансии показывают, что обещают работодатели. Анонимно расскажите, сколько получаете вы как Data/ML-специалиста — так появится зарплата, которую платят на деле.
Подходит ли вам эта вакансия?
Зарегистрируйтесь и загрузите резюме — посчитаем % совпадения с этой вакансией, подсветим сильные стороны и что стоит подтянуть
Ещё в Toptal
2 активные вакансии в компании
Старший разработчик систем автоматизации и ИИ (UiPath и Power Platform)
Актуальность уточняется
~989 750 – 1 872 500 ₸ оценка
Нужен senior-разработчик RPA, который будет строить и поддерживать production-ботов на UiPath для крупного корпоративного центра компетенций: сложные архитектуры, многосистемные интеграции, разбор инцидентов, CI/CD. Кроме классической автоматизации предстоит встраивать ИИ — Anthropic Claude, Document Understanding, промпты для LLM — и собирать интерфейсы на Power Apps / Power Automate, дописывая интеграции на Python, PowerShell и REST API. Ждут 3+ года практики с UiPath, действующую сертификацию, уверенный SQL и опыт работы в Agile.
Похожие вакансии
6 вакансий
Старший консультант по data-решениям / архитектор решений
~1 979 500 ₸ оценка
ZentixSoft ищет старшего консультанта по data-решениям / архитектора для проекта по управлению продуктовыми данными (PIM/MDM). Нужно участвовать в discovery-сессиях с клиентами, проектировать архитектуру интеграций и ETL, оценивать применение AI/LLM для классификации и маппинга данных, готовить предложения и дорожные карты. Требуется 5+ лет опыта в data-архитектуре и интеграциях, экспертиза в PIM/MDM и платформах вроде Akeneo, Salsify, Stibo, свободный английский. Формат — почасовая удалённая работа, гибкий график, полная автономия.
Старший консультант по data-решениям / архитектор решений
~1 979 500 ₸ оценка
ZentixSoft ищет старшего консультанта по data-решениям / архитектора для проектной работы на почасовой основе удалённо. Нужно участвовать в discovery-сессиях с клиентами, проектировать архитектуру управления продуктовыми данными (PIM/MDM), оценивать интеграции, ETL и AI/LLM-автоматизацию, а также помогать готовить решения и роадмапы. Требуется 5+ лет опыта в data-архитектуре и интеграциях, глубокое знание PIM/MDM и платформ вроде Akeneo, Salsify, Stibo, Informatica, свободный английский для общения с клиентами.
Старший аналитический инженер
~1 070 856 ₸ оценка
Nitka Technologies ищет опытного старшего аналитического инженера для нового проекта крупного американского поставщика медицинских услуг. Нужно строить и поддерживать пайплайны данных в Snowflake и dbt Core, обеспечивать качество и документацию данных, публиковать дата-продукты для self-service. Требуется 5+ лет опыта работы с продакшн-моделями данных, уверенное владение Snowflake, dbt Core и SQL. Предлагают полностью удалённую работу с гибким графиком, оплачиваемый отпуск и больничные, конкурентную зарплату в USD.
Старший аналитический инженер
~1 125 000 – 1 750 000 ₸ оценка
Nitka Technologies ищет опытного старшего аналитического инженера для проекта крупного американского поставщика медицинских услуг. Нужно строить и поддерживать пайплайны данных в Snowflake и dbt, обеспечивать качество и документацию данных, публиковать дата-продукты для self-service. Предлагают полностью удалённую работу с гибким графиком, оплачиваемый отпуск и конкурентную зарплату в USD.
Старший BI аналитик и Domo разработчик
~1 125 000 – 1 750 000 ₸ оценка
Nitka Technologies ищет опытного старшего BI аналитика и разработчика Domo для проекта крупного американского провайдера медицинской реабилитации. Нужно строить и поддерживать дашборды и карточки в Domo, работать с данными Snowflake и dbt, обеспечивать качество и внедрение решений. Предлагают полностью удалённую работу с гибким графиком, оплачиваемый отпуск и конкурентную зарплату в USD.
Старший BI аналитик и Domo разработчик
~1 070 856 ₸ оценка
Nitka Technologies ищет опытного старшего BI аналитика и разработчика Domo для проекта крупного американского поставщика медицинских услуг. Нужно строить и поддерживать дашборды и карточки в Domo, работать с данными Snowflake и dbt, обеспечивать качество и внедрение решений. Предлагают полностью удалённую работу с гибким графиком, оплачиваемый отпуск и конкурентную зарплату в USD.