Data Engineer

Что предстоит делать

Мы ищем Data Engineer, который поможет построить data-инфраструктуру с нуля: наладить ETL/ELT-процессы, организовать регулярную загрузку данных из Oracle и PostgreSQL, подготовить аналитические витрины для бизнеса и заложить основу для дальнейшего развития BI и ML-направлений. Первоочередные задачи: • Разобраться в текущих источниках данных: Oracle, PostgreSQL, существующие таблицы, связи и бизнес-сущности; • Совместно с DBA определить безопасные способы регулярной выгрузки данных из production-баз; • Спроектировать и внедрить первые ETL/ELT-процессы; • Настроить регулярную загрузку данных из Oracle и PostgreSQL; • Построить staging-слой и первые аналитические витрины; • Подготовить данные для отчетности, BI-дашбордов и бизнес-аналитики; • Помогать бизнесу формулировать метрики, KPI и требования к данным; • Настроить базовые проверки качества данных: полнота, дубликаты, актуальность, сверки между источниками и витринами; • Документировать источники данных, пайплайны, таблицы и бизнес-логику; • Постепенно заложить основу для будущих ML-задач: подготовка датасетов, feature tables и регулярное обновление данных. Мы ищем человека, который: • Имеет опыт работы Data Engineer / ETL Developer / DWH Developer / BI Data Engineer от 3 лет; • Уверенно знает SQL и имеет опыт работы с реляционными базами данных; • Имеет опыт работы с PostgreSQL; • Имеет опыт с Oracle (будет большим плюсом); • Уверенно знает Python для автоматизации, загрузки и обработки данных; • Понимает ETL/ELT-процессы и принципы построения DWH / ODS / data marts; • Имеет опыт создания аналитических витрин; • Понимает инкрементальные загрузки и безопасное извлечение данных из production-баз; • Умеет работать с большими таблицами без лишней нагрузки на операционные базы; • Имеет опыт работы с Git; • Имеет базовый опыт с Linux; • Умеет взаимодействовать с DBA, аналитиками, разработчиками и бизнес-заказчиками; • Готов работать в условиях, где data-инфраструктура только формируется. Будет плюсом • Опыт с Airflow, Prefect, Dagster или другими инструментами оркестрации; • Опыт с dbt; • Опыт с BI-инструментами: Power BI, Tableau, Metabase, Superset, Looker; • Опыт построения DWH, ODS или аналитических витрин с нуля; • Опыт внедрения data quality-проверок; • Опыт с Docker и базовым CI/CD; • Понимание CDC, логической репликации PostgreSQL, Debezium, Oracle GoldenGate или аналогичных подходов; • Опыт подготовки данных для ML-моделей; • Базовое понимание ML: датасеты, признаки, обучение моделей, оценка качества; • Опыт с pandas, scikit-learn, XGBoost / LightGBM.

Что предлагаем