Data Engineer
Ищем Data Engineer для поддержки Data Intelligence Platform: проектирование и оптимизация моделей данных, ETL-пайплайнов и облачной инфраструктуры на AWS. Нужен опыт 7–9 лет, сильный SQL, Spark, Glue, EMR, Kafka/Kinesis, Java/Python/Scala, Terraform и CI/CD. Работа удалённая, с тесным взаимодействием с data science командами и бизнес-подразделениями.
Удалённо из любой страны
Указано в источнике: «Anywhere in the World».
Другие условия найма уточняйте в описании работодателя.
Актуальность уточняется
Источник пока не подтвердил, что вакансия открыта. Проверьте её статус на сайте работодателя перед отправкой отклика.
Отклик отправляется на сайте источника. Регистрация в Taylor для перехода не нужна.
Зарплата не указана — оценили по рынку
На основе 88 похожих вакансий за 90 дней по всем рынкам вместе — отдельной выборки по рынку этой вакансии нет.
Что предстоит делать
Местоположение головного офиса: Резюме Мы ищем Data Engineer для поддержки разработки Data Intelligence Platform. Эта роль сосредоточена на моделировании данных, data-сервисах, data-пайплайнах и облачной инфраструктуре данных для отчётности, аналитики и data science. Общая информация Этот Data Engineer будет поддерживать операции, связанные с данными, в рамках более широкой команды Data Intelligence Platform. Работа включает создание и использование веб-сервисов, интеграцию поисковых технологий, поддержку движков персонализации и рекомендаций, а также применение лучших практик data engineering на всей платформе. Роль охватывает облачную архитектуру данных, производительность баз данных, автоматизацию пайплайнов и поддержку data scientists, исследователей и внутренних бизнес-подразделений. Среда включает инфраструктуру на базе AWS и сочетание структурированных и неструктурированных источников данных. Задачи и результаты - Участвовать в проектировании архитектуры и реализации высокопроизводительных, масштабируемых и оптимизированных решений для данных. - Создавать модели данных с нуля, опираясь на прочные основы SQL. - Писать и оптимизировать SQL-запросы внутри приложений. - Обеспечивать производительность, безопасность и доступность баз данных. - Подготавливать документацию и технические спецификации. - Выполнять процедуры работы с базами данных, такие как обновления, резервное копирование, восстановление и миграция. - Профилировать использование серверных ресурсов и при необходимости оптимизировать конфигурации. - Проектировать, создавать и автоматизировать развёртывание data-пайплайнов и приложений. - Интегрировать данные из локальных баз данных и внешних источников данных с помощью REST API и инструментов сбора данных. - Сотрудничать с бизнес-подразделениями и командами data science по вопросам доступа к данным, их преобразования, обработки и отчётности. - Поддерживать внедрение, решение технических проблем и обучение, связанные с экосистемой data lake. - Работать с командой над управлением ресурсами AWS, включая кластеры EMR и ECS. - Поддерживать provisioning, мониторинг, конфигурацию и обслуживание инструментов AWS. - Оценивать и продвигать новые облачные технологии, которые улучшают возможности и снижают операционные затраты. - Поддерживать усилия по автоматизации с использованием Infrastructure as Code с Terraform и инструментов CI/CD, таких как Jenkins. - Работать с командой над внедрением data governance, контроля доступа и снижения рисков безопасности. Требуемый опыт - 7–9 лет опыта проектирования и разработки облачных моделей данных, ETL-пайплайнов и инфраструктуры. - Опыт работы как со структурированными, так и с неструктурированными данными. - Уверенное владение SQL в популярных базах данных. - Опыт оптимизации больших и сложных SQL-запросов. - Знание лучших практик для реляционных баз данных. - Опыт настройки движков баз данных и оркестрации кластеров. - Способность планировать требования к ресурсам на основе высокоуровневых спецификаций. - Способность устранять типовые проблемы баз данных. - Опыт работы с Spark, Glue, EMR и Apache Kafka или AWS Kinesis. - Опыт работы с инструментами контроля версий, такими как Git или Subversion. - Опыт использования автоматизированных систем сборки и рабочих процессов CI/CD. - Опыт программирования на Java, Python и Scala. - Знание структур данных и алгоритмов. - Знание реляционных, NoSQL, графовых, документных, key-value и time-series баз данных. - Знание проектирования и управления масштабируемыми моделями данных. - Знание развёртывания ML-моделей. - Знание облачных платформ AWS. - Знание TDD и BDD. - Сильный интерес к совершенствованию навыков разработки ПО, фреймворков и технологий. Ключевые особенности сотрудничества - Возможность работать в области моделирования данных, data-сервисов и data science в рамках более широкой Data Intelligence Platform. - Знакомство с разнообразной технической средой, охватывающей AWS, ETL-пайплайны, базы данных, поисковые технологии и рекомендательные системы. - Прямое сотрудничество с командами data science и внутренними стейкхолдерами по вопросам отчётности, преобразования данных и возможностей платформы. Чтобы подать заявку: https://weworkremotely.com/remote-jobs/toptal-senior-data-engineer-aws-data-lake-pipeline-architecture
Стек и инструменты
Сколько платят вам?
Анонимно укажите, сколько вы получаете как Data/ML-специалист, — сразу покажем, в скольких вакансиях платят меньше. А из ответов сложится зарплата, которую платят на деле, а не обещают.
Подходит ли вам эта вакансия?
Зарегистрируйтесь и загрузите резюме — посчитаем % совпадения с этой вакансией, подсветим сильные стороны и что стоит подтянуть
Ещё в Toptal
2 активные вакансии в компании
Ведущий Salesforce Platform инженер
~1 590 000 ₸ оценка по всем рынкам
Нужен ведущий инженер по платформе Salesforce для глобальной компании. Вы будете отвечать за всю платформу как за продукт: релизы, безопасность, стандарты кода, переиспользуемые паттерны и внедрение AI-инструментов в разработку. Требуется 6–10 лет опыта администрирования и разработки Salesforce, экспертиза в Flow, Apex, LWC, управление релизами и CI/CD. Работа удалённая, полная занятость, контракт от 12 месяцев, предпочтение двуязычным кандидатам (французский/английский).
Похожие вакансии
6 вакансий
AI Product Engineer
~2 182 910 ₸ оценка по всем рынкам
Organic Soft ищет AI Product Engineer для мобильного приложения в сфере Health & Fitness: нужно проектировать и внедрять LLM-функции — рекомендации, адаптацию тренировок, анализ прогресса и диалоговое взаимодействие. Ждут сильный бэкенд-бэкграунд от 5 лет, практический опыт LLM-продуктов, evals, мониторинга и продуктовых экспериментов, английский B1. Основной стек TypeScript/Node.js, но рассматривают и инженеров с Python; предлагают удалёнку, гибкий график, официальное оформление и зарплату в привязке к доллару.
Архитектор DWH
~2 182 910 ₸ оценка по всем рынкам
Банк переводит корпоративное хранилище данных с Oracle на Arenadata GP и ищет архитектора DWH, который спроектирует модели данных на всех слоях по методологии Data Vault 2.0. Нужен опыт архитектуры хранилищ от 5 лет, практика с Greenplum, глубокое знание Data Vault и SQL в MPP, плюс экспертиза в банковских данных. Предлагают гибридный формат, офис в Москве, ДМС, обучение и оклад с квартальными премиями по KPI.
Senior/Middle+ Big Data Engineer
~2 182 910 ₸ оценка по всем рынкам
Lamoda ищет Big Data инженера в департамент рекламы — строить ландшафт данных для собственной рекламной платформы: витрины в ClickHouse, метрики рекламных кампаний в NRT и batch, переход на Lakehouse. Нужны уверенный Python/Scala/Java, глубокий Spark и Flink, ClickHouse, Kafka и опыт near realtime аналитики. Работа в большой команде из 50+ разработчиков и аналитиков над продуктом с миллионами пользователей.
Бизнес/системный аналитик КХД (кредитный портфель)
~2 182 910 ₸ оценка по всем рынкам
Нужен опытный бизнес/системный аналитик для проекта витрин данных кредитного портфеля в хранилище российского банка. Задача — самостоятельно прорабатывать атрибутный состав сущностей (договоры, задолженность, просрочка, резервы, ставки), находить источники в АБС и вести data discovery, уверенно владея SQL. Обязательна экспертиза в банковском кредитовании и опыт от 3 лет на проектах КХД. Работа временная, до 2 месяцев, удалённо или в офисах Москвы/Калининграда, оформление по ТД/ИП/ГПХ.
Senior Data Engineer / DWH
~2 182 910 ₸ оценка по всем рынкам
Развитие корпоративного хранилища данных: проектирование DWH, витрин и моделей, построение ETL/ELT-пайплайнов на Airflow, Spark и Python, работа с PostgreSQL, Greenplum и ClickHouse, потоковая загрузка через Kafka/RabbitMQ и контроль качества данных. Нужен опыт в Data Engineering/DWH от 5 лет, продвинутый SQL, production-Python, Airflow, Spark, dbt, Iceberg/Trino, Debezium и CDC. Предлагают удалёнку, полную занятость 5/2, современный стек и официальное трудоустройство по ТК РФ или ИП РФ.
Data Scientist (Generative AI)
~2 182 910 ₸ оценка по стеку, все рынки
EPAM ищет Data Scientist с опытом 5+ лет для работы над генеративным ИИ: LLM, GAN, диффузионные модели, компьютерное зрение и NLP. Нужно уметь писать production-ready код на Python, работать с PyTorch/TensorFlow и облачными платформами, а также свободно общаться на английском от Upper-Intermediate. Предлагают ДМС, оплачиваемые отпуска и больничные, поддержку психологического комфорта и корпоративные программы для детей сотрудников.