описание
Навыки: Git, SQL, Docker, Apache Spark, ETL, Apache Flink, Python, Apache Kafka. Квалификация: Senior. Специализации: Инженер по данным.
## О компании и команде
Представь IT-аутстаффинг, в котором ты - самое важное.
В нашей компании Decart IT-outstaffing мы относимся к специалистам как к партнёрам, и помогаем им не только зарабатывать, но и участвовать в проектах, которые мотивируют и вдохновляют.
Все детали берём на себя: подбираем проект на основе твоих предпочтений, договариваемся с заказчиком о ставке, организовываем интервью и помогаем успешно пройти его, а также забираем на себя формальный документооборот. С тебя - только твоя экспертиза!
*Сейчас на проект из области цифрового банкинга требуется ****Data Engineer ****для команды разработки AI-продукта*
## Ожидания от кандидата
- Python и SQL — уверенное владение для разработки пайплайнов
- Опыт построения ETL/ELT-процессов в production
- Работа с Airflow или аналогичными оркестраторами
- Понимание принципов data modeling (star schema, нормализация)
- Опыт с одним из cloud data warehouse: BigQuery, Snowflake или Redshift
***Будет плюсом:***
- Инструменты трансформации данных: dbt
- Batch и streaming обработка: Spark, Kafka, Kinesis, Flink
- Форматы хранения: Parquet, ORC, работа с S3/GCS
- Фреймворки качества данных: Great Expectations
- Опыт оптимизации запросов: partitioning, indexing
- DevOps-практики: Docker, Git, CI/CD, системы мониторинга
**Чем предстоит заниматься:**
- Проектировать и разрабатывать ETL/ELT-пайплайны для подготовки данных транзакций, клиентского поведения и внешних источников
- Строить streaming-решения для обработки транзакций в реальном времени (fraud detection, персонализация)
- Обеспечивать качество данных: валидация, мониторинг аномалий, автоматическое тестирование датасетов
- Оптимизировать data warehouse для быстрого доступа ML/LLM-команд к данным
- Создавать версионированные датасеты для обучения и тестирования моделей
- Автоматизировать процессы через CI/CD, контейнеризацию и оркестрацию
## Условия работы
- Возможность выбирать проекты и заказчиков под твой запрос: будь то громкое имя компании для портфолио, интересные задачки, чтобы не терять хватку, или просто спокойная работа в привычном режиме;
- Оформление по удобному для тебя формату (ИП, самозанятость);
- Регулярный пересмотр ставки;
- График ты выбираешь сам. Главное - синхронизировать тайм-зоны и иметь пересечения рабочего времени с командой (5/2, фуллтайм/парттайм; гибкое утро). Также есть возможность совмещать проекты;
- Можешь работать из любого места, где тихо и есть интернет.
- Присоединяйся к нашей команде, чтобы узнать, что такое по-настоящему человекоцентричный аутстаффинг. Ждём тебя!
