Junior Data Engineer

Что предстоит делать

<div><br><p><strong>N-iX ищет Junior Data Engineer</strong> в команду, работающую с данными и поддерживающую повседневные операции и текущее развитие корпоративных решений для работы с данными. Это <strong>проект продолжительностью <nobr>6 месяцев</nobr></strong> с возможностью получить практический опыт работы с современными облачными платформами для работы с данными, крупномасштабными наборами данных и production-пайплайнами данных.</p><p>Вы будете тесно сотрудничать с опытными Data Engineers, участвуя в поддержке пайплайнов, устранении неполадок, подключении новых источников данных и реализации четко определенных улучшений на платформе данных. Эта роль идеально подходит для инженеров с <nobr>1-2</nobr> годами профессионального опыта, которые хотят углубить свои знания в области data engineering и облачных технологий.</p><h2>О роли</h2><p>В качестве Junior Data Engineer вы будете помогать обеспечивать надежность и качество пайплайнов данных, поддерживающих критически важную для бизнеса аналитику и отчетность. Вы будете участвовать в мониторинге, устранении неполадок, тестировании и реализации логики обработки данных, следуя установленным инженерным стандартам и практикам поставки.</p><p>Под руководством старших членов команды вы будете участвовать в процессах приема данных, валидации, технической документации и операционной поддержке, знакомясь с современными технологиями, такими как Azure, Databricks, PySpark и Snowflake.</p><h2>Обязанности</h2><ul><li>Мониторинг и поддержка плановых и событийно-управляемых пайплайнов данных, задач обработки данных, обновлений отчетности и проверок качества данных.</li><li>Выполнение стандартных действий по приему и обновлению данных из множества источников, включая API, CSV-файлы, синдицированные наборы данных и конфигурационные входные данные.</li><li>Реализация четко определенных изменений на Python, PySpark и SQL, включая новые фильтры, преобразования, маппинги, правила валидации и незначительные улучшения пайплайнов.</li><li>Выполнение валидации схемы, сверочных проверок, регрессионного тестирования и верификации данных от источника к целевой системе.</li><li>Расследование сбоев пайплайнов, проблем валидации, отсутствующих данных, отклоненных файлов и расхождений в отчетности.</li><li>Устранение операционных инцидентов первой линии с использованием логов, результатов выполнения задач и инструментов мониторинга.</li><li>Эскалация сложных технических или бизнес-проблем с данными с четкой диагностической информацией и подтверждающими доказательствами.</li><li>Ведение технической документации, заметок о развертывании, runbook'ов, конфигурационных файлов и операционных записей.</li><li>Соблюдение установленных инженерных практик, включая Git-процессы, pull requests, code review, тестирование и процедуры развертывания.</li><li>Поддержка подключения новых источников данных и участие в инициативах по непрерывному улучшению.</li></ul><h2>Требования</h2><h3>Обязательно</h3><ul><li><nobr>1-2</nobr> года профессионального опыта в Data Engineering, разработке ETL/ELT, Analytics Engineering или ролях поддержки данных.</li><li>Хорошее рабочее знание <strong>Python</strong> и <strong>SQL</strong>.</li><li>Понимание пайплайнов данных, преобразований данных, пакетной обработки и концепций ETL/ELT.</li><li>Знакомство с реляционными базами данных и концепциями хранилищ данных.</li><li>Опыт работы с интеграциями API и обработкой файловых данных (CSV, Parquet и т.д.).</li><li>Практический опыт работы с <strong>Git</strong>, процессами контроля версий, pull requests и code review.</li><li>Понимание принципов качества данных, включая валидацию, сверку, проверки схемы и обработку ошибок.</li><li>Способность анализировать логи, устранять неполадки и четко сообщать о результатах.</li><li>Сильные аналитические навыки и навыки решения проблем.</li><li>Английский уровень Intermediate или выше.</li></ul><h3>Будет плюсом</h3><ul><li>Опыт работы с <strong>Azure Data Factory</strong>, <strong>Azure Databricks</strong>, <strong>PySpark</strong>, <strong>Snowflake</strong>, <strong>Delta Lake</strong>, <strong>Azure Data Lake Storage</strong> или аналогичными облачными технологиями для работы с данными.</li><li>Знакомство с современными архитектурами платформ данных, включая паттерны обработки данных Medallion (Bronze-Silver-Gold).</li><li>Знакомство с <strong>Power BI</strong> или другими BI/отчетными платформами.</li><li>Знание облачных сред и практик DevOps.</li><li>Опыт работы с фреймворками валидации данных, такими как Pandera.</li><li>Понимание пайплайнов CI/CD и процессов развертывания.</li></ul><h2>Что делает вас отличным кандидатом</h2><ul><li>Вам нравится работать с данными и решать технические задачи.</li><li>Вы внимательны к деталям и несете ответственность за качество своей работы.</li><li>Вам комфортно работать в рамках установленных процессов, при этом вы постоянно изучаете новые технологии.</li><li>Вы четко общаетесь и эффективно сотрудничаете с техническими и нетехническими заинтересованными сторонами.</li><li>Вы проактивны, любознательны и стремитесь развивать свои навыки data engineering в production-среде.</li></ul><p> </p></div> <div class="content-conclusion"><p><strong>Мы предлагаем*:</strong></p><ul><li>Гибкий формат работы — удаленно, в офисе или гибкий</li><li>Конкурентоспособную зарплату и хороший компенсационный пакет</li><li>Персонализированный карьерный рост</li><li>Инструменты профессионального развития (программа менторства, технические доклады и тренинги, центры передового опыта и многое другое)</li><li>Активные технические сообщества с регулярным обменом знаниями</li><li>Компенсацию расходов на образование</li><li>Памятные подарки к годовщинам</li><li>Корпоративные мероприятия и тимбилдинги</li><li>Другие льготы, зависящие от локации</li></ul><p>*не применяется к фрилансерам</p></div> <div> <a href="https://jobs.dou.ua/companies/n-ix/vacancies/377066/#reply-btn-id">Откликнуться на вакансию</a> </div>