Старший Data Engineer

Что предстоит делать

<p><strong>Binariks</strong> ищет <strong>Senior Data Engineer</strong>, чтобы подключить новую AI-платформу к крупномасштабным данным в сфере здравоохранения и фармацевтики. Роль предполагает создание пайплайнов, курируемых фактов и семантических моделей, которые питают как AI-агентов, так и граф знаний.</p><p>Проект — это новая платформа интеллектуального принятия решений на основе AI для коммерческих команд фармацевтических компаний, разрабатываемая для американской компании в сфере данных и аналитики здравоохранения. Она превращает ежедневные данные специализированных аптек, хабов, плательщиков и клинические данные в рекомендации, сгенерированные AI, которые показывают, почему они были сделаны и кто на них действует, а затем измеряет, сработали ли они. Роль присоединится к старшей команде Binariks, работающей вместе с продуктовой и инженерной командами клиента на AWS.</p><p><br><strong>Что мы ищем:</strong></p><ul><li>5+ лет в data engineering с солидным послужным списком в клиентоориентированных средах</li><li>Сильный практический опыт проектирования и эксплуатации production-сред на Databricks (Delta Lake, Unity Catalog, Workflows)</li><li>Владение Python (PySpark) и продвинутым SQL для сложных преобразований данных и высокопроизводительных запросов (PostgreSQL / Amazon RDS)</li><li>Подтверждённый практический опыт построения надёжных batch- и streaming-архитектур на AWS (опыт с GCP также рассматривается)</li><li>Опыт определения бизнес-метрик, слоёв абстракции данных или потоков данных для графа знаний</li><li>Глубокое понимание observability данных, lineage, управления метаданными и инструментов обеспечения качества данных</li><li>Знакомство с алгоритмами entity resolution, дедупликацией записей и практиками master data management</li><li>Сильные навыки коммуникации и сотрудничества, способность эффективно работать в кросс-функциональной команде</li><li>Рабочее владение английским языком (B2)</li></ul><p><strong>Ваши обязанности:</strong></p><ul><li>Проектировать, создавать и поддерживать компоненты Databricks Lakehouse с использованием Delta Lake, Unity Catalog и оркестрируемых Databricks Workflows</li><li>Разрабатывать и оптимизировать как batch-, так и event-driven пайплайны данных в экосистеме AWS (S3, AWS Glue, Athena, AWS Lambda и streaming-сервисы)</li><li>Выполнять надёжную разработку на SQL и моделирование данных (включая PostgreSQL / Amazon RDS), а также семантическое моделирование lakehouse для бизнес-сущностей и метрик, питающих графы знаний</li><li>Внедрять и курировать автоматизированные фреймворки качества данных, отслеживание lineage данных и стандарты управления по всей платформе</li><li>Руководить инициативами master data management (MDM) и пайплайнами entity resolution для консолидации ключевых сущностей (таких как пациенты, медицинские работники/HCPs и медицинские аккаунты)</li></ul><p><strong>Будет плюсом:</strong></p><ul><li>Знакомство со стандартами и терминологиями здравоохранения (FHIR, HL7, OMOP, RxNorm, SNOMED)</li><li>Опыт в доменах Pharma, Life Sciences или HealthTech</li></ul> <div> <a href="https://jobs.dou.ua/companies/binariks/vacancies/379562/#reply-btn-id">Откликнуться на вакансию</a> </div>