Data Engineer
Korzinka ищет Data Engineer для развития data-платформы на Microsoft Fabric и Databricks. Нужно проектировать пайплайны и дата-продукты, оптимизировать Spark-джобы и строить интеграции между источниками. Требуется опыт в data engineering от 3 лет, уверенный PySpark/SQL и знание Lakehouse/Delta Lake. Предлагают современный стек, гибкий график и бонусы.
География удалёнки не уточнена
Уточните у работодателя, из каких стран можно работать.
Отклик отправляется на сайте источника. Регистрация в Taylor для перехода не нужна.
Что предстоит делать
Korzinka — крупнейшая сеть супермаркетов Узбекистана с активно развивающимся цифровым блоком: SuperApp, программа лояльности, Payments и OMNI-канальные сервисы. Мы строим data-платформу на Microsoft Fabric и Databricks: Lakehouse-архитектура с Delta Lake, полным Medallion-стеком и CI/CD через Azure DevOps. Ищем Data Engineer, который умеет проектировать дата-продукты от raw до consumption, оптимизировать Spark-джобы под production-нагрузки и строить надёжные интеграции между десятками источников данных ритейл-компании.
- Разработка дата-продуктов и пайплайнов:
- Проектировать дата-продукты полного цикла — от raw-слоя до consumption: витрины, семантические модели, API для downstream-сервисов; обеспечивать ownership, SLA, документирование и версионирование.
- Разрабатывать ETL/ELT-пайплайны на Microsoft Fabric, Databricks и Azure Data Factory (Dataflow Gen2, Pipelines, Notebooks) с учётом надёжности, идемпотентности и наблюдаемости.
- Создавать переиспользуемые инженерные фреймворки: шаблоны пайплайнов, библиотеки трансформаций, утилиты для Delta Lake.
- Реализовывать интеграции между источниками и платформой: ERP (SAP), CRM, WMS, POS, мобильное приложение, программа лояльности — согласование data contracts, обработка схемных изменений, мониторинг целостности.
- Оптимизация и архитектура:
- Advanced-оптимизация Spark-джобов: партиционирование, broadcast join, кэширование, управление ресурсами кластера.
- Оптимизация хранилища в Delta Lake и Fabric: Z-Order, V-Order, компакция, retention-политики, планы выполнения запросов.
- Проектирование моделей данных: Medallion (bronze/silver/gold), Star Schema, Data Vault — выбор подхода под downstream-потребителей.
- Работа с Lakehouse: транзакции Delta Lake, schema evolution, time travel, CDC.
- CI/CD и качество данных:
- Настройка CI/CD для data-пайплайнов через Azure DevOps: Pipelines, Repos (GitFlow), Artifacts.
- Контроль качества данных: data contracts, автоматизированные проверки (Great Expectations, dbt tests или аналоги), алертинг на аномалии и нарушения SLA.
- Работа с Azure Key Vault (секреты, ключи шифрования) и Microsoft Purview (каталогизация, lineage, классификация).
- Взаимодействие:
- С Data Analysts и Data Scientists — интеграция Lakehouse-форматов в downstream, совместное проектирование семантических моделей в Power BI / Fabric.
- С backend- и интеграционными командами, бизнес-доменами — проектирование data contracts и согласование схем.
- Участие в развитии data-платформы совместно с Head of Analytics: технический дизайн, оценка новых инструментов, архитектурные предложения.
- Документирование решений в Confluence или корпоративном репозитории.
Что ждём от вас
- Опыт в data engineering от 3 лет.
- Опыт с Microsoft Fabric или Databricks от 1 года.
- Уверенный PySpark: трансформации, оптимизация джобов, DataFrame API, Spark SQL.
- Уверенный SQL: оконные функции, CTE, оптимизация запросов, планы выполнения.
- Глубокое понимание Lakehouse и Delta Lake: ACID, schema evolution, time travel, V-Order, Z-Order, компакция.
- Azure Data Factory: пайплайны, linked services, triggers, мониторинг.
- Azure Key Vault и Microsoft Purview.
- CI/CD для data-пайплайнов: Azure DevOps Pipelines, GitFlow, автоматизированное тестирование.
- Моделирование данных: Medallion, Star Schema.
- Построение дата-продуктов: ownership, SLA, версионирование, data contracts.
- Опыт интеграций между гетерогенными источниками.
- Понимание ритейл-доменов: продажи, ассортимент, цепочка поставок, лояльность, маркетинг, e-commerce.
- Английский на уровне чтения технической документации и коммуникации с вендорами.
Что предлагаем
Стек и инструменты
Зарплата не указана — оценили по рынку
На основе 94 похожих вакансий за 90 дней.
Сколько платят вам?
Вакансии показывают, что обещают работодатели. Анонимно расскажите, сколько получаете вы как Data/ML-специалиста — так появится зарплата, которую платят на деле.
Подходит ли вам эта вакансия?
Зарегистрируйтесь и загрузите резюме — посчитаем % совпадения с этой вакансией, подсветим сильные стороны и что стоит подтянуть
Ещё в Korzinka
2 активные вакансии в компании
Software Engineer (.NET / C#)
~1 385 800 – 1 865 500 ₸ оценка
Разработка и поддержка POS-приложения на .NET Framework 4.8 / C# с UI на WPF и интеграциями с внешними системами в крупнейшей торговой сети Узбекистана. Нужен крепкий .NET-разработчик с опытом от 5 лет, знанием WPF, PostgreSQL, EF Core, RabbitMQ/Kafka и принципов event-driven архитектуры. Предлагают гибкий график, performance-бонусы, обучение за счёт компании и другие плюшки.
География удалёнки не уточнена
Похожие вакансии
6 вакансий
Специалист по интеграции данных
~2 571 938 ₸ оценка по стеку
Нужен специалист по интеграции данных в AI-платформу для управления недвижимостью: проектировать и поддерживать пайплайны данных между микросервисами, IoT-датчиками, сторонними FM-платформами и внешними API. Главное — 4+ года опыта в data-инжиниринге или интеграциях, уверенный Python, Azure Databricks с Delta Lake/Lakehouse, моделирование данных и событийные архитектуры, английский от Upper-Intermediate. Предлагают полностью удалённую работу (или офис во Львове), конкурентную зарплату, бюджеты на обучение и wellness.
География удалёнки не уточнена
Разработчик баз данных MS SQL Server
~2 571 938 ₸ оценка
Нужен опытный разработчик баз данных на MS SQL Server 2019 — предстоит разрабатывать и сопровождать БД брокерской системы, писать запросы на T-SQL и работать с индексами, блокировками и оптимизатором. Ждут минимум 5 лет практики с SQL Server, плюсом будут Git, проект БД в Visual Studio и понимание CI/CD. Работа полностью удалённая, в аккредитованной ИТ-компании Bell Integrator (ГК Softline) с проектами для крупных банков, телекома и ритейла.
География удалёнки не уточнена
Senior Data Engineer
~2 571 938 ₸ оценка
Позиция Senior Data Engineer в Flowwow — международном маркетплейсе подарков. Нужно развивать собственную Data Platform на базе lakehouse (Apache Iceberg, Trino, Spark, Airflow, Kafka) и писать библиотеки на Python. Требуется 5+ лет опыта в data engineering или backend, глубокое знание Python, lakehouse-стека и Airflow. Предлагают работу с AI-агентами, mentoring и развитие платформенных инструментов.
География удалёнки не уточнена
ML-разработчик
~2 571 938 ₸ оценка
Ищем ML-разработчика в проект по защите от DDoS и сетевых атак. Нужно вести ML-решения от анализа данных и разметки датасетов до внедрения и контроля в проде, уверенно владеть Python и Linux. Предлагают удалёнку из любой точки мира, официальное трудоустройство, ДМС и компенсацию обучения и спорта.
География удалёнки не уточнена
Портфельный аналитик
~2 571 938 ₸ оценка
Аналитик кредитного портфеля в микрофинансовой компании: анализ структуры и качества портфеля, мониторинг рисков, A/B-тесты, макроэкономический анализ. Требуется опыт от 3 лет, уверенное владение SQL, Python, Excel, знание математического моделирования, Power BI будет плюсом. Предлагают гибридный формат, ДМС, стабильность и профессиональную команду.
География удалёнки не уточнена
Data Warehouse Modelling Engineer
~2 571 938 ₸ оценка
Нужен senior-инженер по моделированию хранилищ данных: проектировать и поддерживать корпоративные модели по Data Vault 2.0 (Hub, Link, Satellite, PIT, Bridge) в ELT-архитектуре на dbt. Ключевые требования — 5+ лет опыта с Data Vault 2.0 и dbt, уверенный SQL, работа с Trino/ClickHouse, Git и CI/CD для данных. Предлагают удалёнку или офис на выбор (Москва, СПб, Владимир, Тбилиси), оформление по ТК РФ, ДМС и страхование жизни с первого дня, компенсацию фитнеса, интернета и английского.
География удалёнки не уточнена