Data Engineer (trainee)

Что предстоит делать

<p>В Холдинге эмоций «<strong>!FEST»</strong> мы придерживаемся принципа делать себя, город, страну и мир лучше, поэтому даём нашим сотрудникам возможность максимально реализовать себя как в навыках, так и в возможностях учиться, совершенствоваться и достигать результатов.</p><p>Ты сможешь присоединиться к разработке <strong>новой дата-платформы</strong> для всего Холдинга эмоций !FEST. Мы ищем человека, который хочет войти в data engineering: первые три месяца будут больше про «грязную» работу: ты будешь чистить, дополнять и наполнять данные и строить проверки.</p><p><strong>Где ты будешь:</strong></p><p>Твоя роль будет на пересечении аналитической и операционной команд: задачи будут приходить и от тех, и от других, так что ты будешь видеть путь данных от источника до отчёта. Стек полностью на GCP (BigQuery, Cloud Storage, Pub/Sub, Cloud Run, Cloud Functions, Cloud Composer), плюс Apache Airflow. </p><p><strong>Что будешь делать первые три месяца:</strong></p><ul><li>Искать и исправлять дубликаты, пропуски и расхождения в таблицах BigQuery и Cloud SQL (PostgreSQL).</li><li>Дополнять справочники и атрибуты, которых не хватает или которые заполнены с ошибками.</li><li>Писать SQL-проверки на целостность: сошлось ли количество строк после загрузки, нет ли пустых ключевых полей, на месте ли все связи между таблицами. Эти проверки ты будешь оборачивать в DAG-и в Airflow, чтобы они запускались сами.</li><li>Сверять данные после миграции в BigQuery: совпадают ли суммы и количества со старой системой.</li></ul><p><strong>Куда дальше:</strong></p><p>Если первые три месяца пройдут хорошо, ты постепенно перейдёшь к задачам data engineer: будешь строить ETL/ELT-пайплайны, проектировать оптимизированные схемы в BigQuery с партиционированием и кластеризацией, настраивать мониторинг и искать, где можно уменьшить затраты на запросы.</p><p><strong>Что мы ожидаем:</strong></p><ul><li>SQL на уровне, когда ты уверенно пишешь JOIN, GROUP BY и оконные функции и можешь разобраться, почему запрос возвращает не то, что ты ожидал.</li><li>Python на базовом уровне: пишешь скрипты, работаешь с pandas, читаешь чужой код.</li><li>Понимание основ: что такое первичный ключ и типы данных, чем таблица фактов отличается от справочника.</li><li>Базовый Git: commit, branch, pull request.</li><li><strong>Внимательность и терпение к рутине. Это очень важно.</strong></li><li>Скорость: нам важно быстро ловить и обрабатывать ошибки </li><li>Ответственность: если ты нашёл проблему, то доводишь её до конца или чётко передаёшь тому, кто может её решить. </li></ul><p><strong>Будет плюсом:</strong></p><ul><li>Любой опыт с GCP или другим облаком.</li><li>Знакомство с Airflow или другим оркестратором.</li><li>Пет-проект с данными, который можно показать: пайплайн, парсер, собранный датасет.</li></ul><p><strong>Что получишь:</strong></p><ul><li>Работу с реальными продакшн-данными, а не с учебными датасетами;</li><li>Опытных инженеров рядом, к которым можно прийти с вопросом;</li><li>Понятный путь от трейни до data engineer на GCP-стеке;</li><li>Скидки в сети для каждого сотрудника;</li><li>Гибридный график работы и карьерный рост.</li></ul><p>Процесс рекрутмента: Интервью с рекрутером — Tech Interview с руководителем отдела — Офер .<br><br><i><strong>Если у тебя есть желание развиваться и работать в команде профессионалов — эта вакансия именно для тебя. Присоединяйся к нам!</strong></i></p> <div> <a href="https://jobs.dou.ua/companies/fest-holding-emotsii/vacancies/379401/#reply-btn-id">Откликнуться на вакансию</a> </div>