Экспертный Data Engineer

Что предстоит делать

<p>Мы открываем позицию Expert Data Engineer для работы над проектом нашего заказчика — международной компании, которая разрабатывает программные решения для малых и средних муниципалитетов. Проект сосредоточен на наборе продуктов, поддерживающих ключевые операции местного самоуправления, включая финансы, биллинг коммунальных услуг, HR, расчёт заработной платы, онлайн-платежи, сбор налогов и управление активами.</p><h3>Обязанности:</h3><ul><li>Отвечать за целевую архитектуру: слоистость medallion, структуру Unity Catalog (metastore, catalogs, schemas, нейминг, окружения) и схему хранения данных</li><li>Оценивать варианты ingestion (Auto Loader, Lakeflow Connect, Lakeflow Declarative Pipelines, ADF/Fivetran, streaming vs batch) и рекомендовать подход с учётом компромиссов по стоимости, сложности и задержке</li><li>Определять модель governance: контроль доступа и grants; external locations и storage credentials; lineage, тегирование и обработка PII</li><li>Определять стратегию вычислений: serverless vs classic, job clusters, SQL warehouses, cluster policies и контроль затрат</li><li>Определять стандарты для оркестрации (Jobs/Workflows), обслуживания данных (оптимизация, retention, vacuum, эволюция схемы) и качества данных</li><li>Проектировать готовые к отчётности Gold-модели совместно с BI-инженерами и бизнес-стейкхолдерами</li><li>Настраивать инженерный фреймворк: CI/CD (Databricks Asset Bundles), продвижение по окружениям и IaC</li><li>Руководить работой Data Engineers и проводить её ревью, а также лично участвовать в PoC и критических компонентах</li></ul><h3>Требования:</h3><ul><li>7+ лет в Data Engineering или архитектуре, из них 3+ года проектирования платформ Databricks в Production</li><li>Глубокая экспертиза в Unity Catalog: проектирование metastore, managed vs external tables и volumes, external locations, модель прав доступа, lineage и system tables</li><li>Подтверждённые навыки в проектировании и реализации end-to-end medallion lakehouse</li><li>Сильное знание внутреннего устройства Delta Lake: паттерны MERGE/CDC, liquid clustering или Z-order, CDF, time travel и обслуживание</li><li>Широкое знание паттернов ingestion в Databricks и умение обосновывать выбор между ними</li><li>Понимание аналитического моделирования данных: dimensional/Kimball, SCD и осведомлённость о Data Vault</li><li>Сильные навыки PySpark и SQL с умением самостоятельно создавать PoC</li><li>Экспертиза в CI/CD и IaC, включая Asset Bundles и Terraform</li><li>Подтверждённый опыт создания architecture decision records и презентации вариантов стейкхолдерам</li><li>Уровень английского — Upper-Intermediate или выше</li></ul><h3>Будет плюсом:</h3><ul><li>Сертификация Databricks Data Engineer Professional или Solutions Architect</li><li>Умение работать с облачной архитектурой на Azure или AWS (networking, IAM, private endpoints)</li><li>Навыки работы со Structured Streaming и Kafka/Event Hubs</li><li>Знание фреймворков качества данных, таких как Lakeflow expectations, Great Expectations и DQX</li><li>Умение работать с интеграцией BI, включая Power BI или Tableau на Databricks SQL, metric views и семантические слои</li><li>Опыт в консалтинге или регулируемых средах</li></ul><h3>Мы предлагаем:</h3><ul><li>Remote-first модель работы с гибким графиком (мы предоставляем всё оборудование)</li><li>Комфортные и полностью оборудованные офисы во Львове и Жешуве</li><li>Конкурентная компенсация с регулярными performance review</li><li>Referral Bonus Program</li><li>18 оплачиваемых дней отпуска в год</li><li>12 дней оплачиваемого больничного в год</li><li>Дополнительный оплачиваемый отпуск (донорство крови, свадьба, рождение ребёнка и т.д.)</li><li>Поддержка здоровья и wellness: либо ежемесячный бюджет на медицинскую страховку и занятия спортом, либо полный план медицинского страхования, в зависимости от вашей модели сотрудничества</li><li>Программа Mental Health — оплачиваемые компанией консультации психолога с годовым лимитом покрытия</li><li>Курсы английского, немецкого и польского языков и Speaking Clubs</li><li>Корпоративные подарки с мерчем к вашим особым датам</li><li>Корпоративная подписка на обучающие платформы, регулярные митапы и вебинары</li><li>Дружная команда, которая ценит ответственность, инновации, командную работу и удовлетворённость клиентов</li><li>Декретный отпуск</li><li>Инклюзивная среда, где каждый чувствует себя ценным и получает равное отношение. Мы гордо сотрудничаем с VeteranHub в поддержку украинских ветеранов</li><li>Мы стремимся поддерживать Украину и активно участвуем в благотворительных инициативах</li></ul> <div> <a href="https://jobs.dou.ua/companies/edvantis/vacancies/376477/#reply-btn-id">Откликнуться на вакансию</a> </div>