Старший Data инженер

Что предстоит делать

<p>Роль будет включать проектирование, разработку, поддержку и улучшение корпоративного хранилища данных, пайплайнов данных и аналитических моделей данных. Вы будете работать с высоконагруженными данными о событиях из множества внутренних и внешних источников, поддерживая растущий аналитический слой, используемый для операционного мониторинга и бизнес-аналитики.</p><p>Это не просто роль по поддержке. Мы ищем человека, который может взять на себя полную ответственность за решения в области данных от начала до конца, улучшать надежность данных, оптимизировать потоки данных, поддерживать масштабируемое моделирование данных и проактивно внедрять лучшие практики в области инженерии данных, качества данных и хранения данных.</p><p><br><strong>Требования:<br></strong></p><ul><li>4+ года опыта работы в роли Data Engineer, Analytics Engineer, BI Engineer или аналогичной.</li><li>Продвинутые навыки SQL и значительный опыт работы с большими наборами данных.</li><li>Значительный опыт работы с BigQuery или аналогичными облачными хранилищами данных; опыт работы с Google Cloud.</li><li>Опыт проектирования, создания и поддержки масштабируемых ETL/ELT пайплайнов.</li><li>Опыт работы с dbt или аналогичным фреймворком для трансформации данных.</li><li>Опыт работы с инструментами оркестрации, такими как Apache Airflow, Prefect, Dagster или аналогичными.</li><li>Опыт создания проверок качества данных, правил валидации, мониторинга и процессов устранения неполадок.</li><li>Опыт оптимизации обработки данных, производительности запросов и затрат на хранилище.</li><li>Способность выявлять коренные причины проблем с данными и предлагать практичные, масштабируемые улучшения.</li><li>Способность создавать и поддерживать документацию по потокам данных, моделям, зависимостям и известным ограничениям.</li><li>Полная ответственность за решения в области данных от начала до конца.</li><li>Способность переводить аналитические и бизнес-потребности в надежные технические решения для данных.</li><li>Внимание к деталям и высокие стандарты надежности данных.</li><li>Уровень английского B1-B2 или выше.<strong></strong></li></ul><p><strong>Будет плюсом</strong></p><ul><li>Опыт интеграции и поддержки данных со сторонних платформ, таких как маркетинговые системы, CRM-инструменты, платформы отслеживания или системы атрибуции.</li><li>Знакомство со средами BI/отчетности, такими как Looker Studio/Tableau/Power BI или аналогичными.</li><li>Опыт проектирования или поддержки пайплайнов для высоконагруженных данных о событиях, логов или временных рядов.</li><li>Опыт работы с Git и системой контроля версий для пайплайнов данных, SQL-моделей или проектов с данными.</li><li>Опыт работы с Python.<strong></strong></li></ul><p><strong>Обязанности:</strong></p><ul><li>Проектировать, разрабатывать, поддерживать и улучшать масштабируемые решения для хранилищ данных и ETL/ELT пайплайны.</li><li>Работать с высоконагруженными данными из API, сторонних платформ, данных о событиях, ручных импортов и внутренних источников.</li><li>Обеспечивать корректное и своевременное обновление ключевых аналитических наборов данных с четким определением ответственных.</li><li>Улучшать надежность пайплайнов, мониторинг, обработку ошибок, производительность запросов и затраты на хранилище.</li><li>Создавать и поддерживать проверки качества данных, правила валидации и процессы мониторинга.</li><li>Обнаруживать и исследовать отсутствующие, дублированные, задержанные, несогласованные или некорректные данные.</li><li>Выявлять коренные причины проблем с данными и внедрять меры контроля для предотвращения повторяющихся проблем.</li><li>Обеспечивать надежность, согласованность, полноту и готовность данных для отчетности и аналитики.</li><li>Определять и применять стандарты для структуры таблиц, соглашений об именовании, объединений, ключей, логики метрик и документации.</li><li>Поддерживать четкие слои данных: сырые, промежуточные, аналитические и готовые для бизнеса наборы данных.</li><li>Стандартизировать аналогичные наборы данных и сокращать дублированную или несогласованную логику трансформации.</li><li>Тесно сотрудничать с отделом бизнес-аналитики для понимания аналитических потребностей и препятствий, связанных с данными.</li><li>Переводить аналитические и бизнес-требования в технические структуры данных и улучшения пайплайнов.</li><li>Поддерживать потребности BI и отчетности, обеспечивая надежность, согласованность и хорошую документированность наборов данных.</li><li>Делиться лучшими практиками, предоставлять технические рекомендации и проактивно вносить улучшения в области инженерии данных и хранения данных.</li></ul><p><br><strong>Что значит быть частью нашей команды:</strong></p><ul><li>Многонациональный и межкультурный опыт</li><li>Корпоративная библиотека</li><li>Команда мирового уровня для работы</li><li>Возможности для роста</li><li>Передовые фреймворки и технологии</li><li>Конкурентная заработная плата</li><li>Множество увлекательных тимбилдингов и корпоративных мероприятий</li><li>Бонусы в соответствии с политикой компании</li><li>21 оплачиваемый отпускной день и 14 оплачиваемых больничных;</li><li>Уютный офис в Варшаве, Киеве доступен для вас, когда он вам нужен</li><li>Кофе, чай, Red Bull, сладости, фрукты и другие закуски</li></ul><h3>💌 Заинтересованы?</h3><p>Мы всегда ищем страстных, целеустремленных и любознательных людей, чтобы присоединиться к нашей команде. Если это похоже на вас — мы будем рады услышать вас!</p> <div> <a href="https://jobs.dou.ua/companies/epc-network/vacancies/364579/#reply-btn-id">Відгукнутись на вакансію</a> </div>