Старший Data Engineer

Что предстоит делать

<p>Вы увлечены защитой стран, обществ и бизнеса от гибридных угроз?</p><p>Тогда вам к нам! Наша быстрорастущая компания привержена этой важнейшей миссии, сотрудничая с некоторыми из самых влиятельных организаций мира, включая NATO и EU.</p><p>Если вы готовы присоединиться к команде с высоким уровнем влияния, формирующей будущее разведки и безопасности, мы приглашаем вас стать частью нашего пути. Присоединяйтесь к нам и помогите защищать цифровой мир с целью и инновациями!</p><p>Сейчас мы расширяем нашу команду business development и ищем Account Manager, который возьмёт на себя ответственность за отношения с клиентами и поможет нам расти на наших международных рынках.</p><h3><strong>Обзор роли</strong></h3><p>Мы ищем Senior Data Engineer для работы над архитектурой данных, лежащей в основе нашей разведывательной платформы, как в части нашей production-инфраструктуры данных, так и в части нашей работы с мультимодальными данными.</p><p>Мы работаем с текстовыми, социальными медиа, геопространственными и time-series данными в масштабе. Значительная часть инженерной задачи заключается в том, как эти данные представлены и связаны: одна и та же сущность реального мира может быть смоделирована на карте, как узел в графе и как паттерн во времени, и ценность возникает из возможности запрашивать и рассуждать по этим представлениям вместе.</p><p>Вы привнесёте практический опыт работы с геопространственными данными, knowledge graphs или системами сущность-связь across multiple data types. Для нас важнее то, как вы рассуждаете об архитектурных и технологических решениях, чем какой-либо конкретный инструмент.</p><p>Это практическая, senior-роль с реальной ответственностью за архитектуру, исполнение и техническое направление.</p><h3><strong>Ключевые обязанности</strong></h3><p>Мультимодальные данные и моделирование сущностей</p><ul><li>Извлекать сущности и связи из текстовых, социальных медиа, геопространственных и time-series данных и моделировать их в представлениях карты, графа и времени.</li><li>Развивать наш слой knowledge graph и делать связанные данные пригодными для аналитики, визуализации и AI-агентов.</li><li>Оценивать и прототипировать технологии для геопространственных и графовых нагрузок в масштабе</li></ul><p>Основная платформа данных</p><ul><li>Мигрировать production-нагрузки с PostgreSQL на StarRocks.</li><li>Улучшать производительность ingestion и обработки, а также перепроектировать архитектуру хранения продукта для масштаба в миллиарды строк.</li><li>Отвечать за инфраструктуру, на которой работают ваши пайплайны, включая деплой, производительность и стоимость.</li></ul><h3><strong>Требования</strong></h3><ul><li>Практический опыт построения систем данных для геопространственных данных, графовых данных или knowledge graphs, в идеале с комбинированием нескольких типов данных.</li><li>Опыт работы с GIS-инструментами (например, PostGIS), графовыми базами данных (например, Neo4j, TigerGraph) или моделированием графовых данных на реляционном или колоночном хранилище.</li><li>Сильное архитектурное мышление и способность обосновывать технологические решения, проводить эксперименты и менять курс по результатам.</li><li>Подтверждённый опыт перемещения и обработки данных в большом масштабе с использованием resumable, идемпотентных и memory-safe пайплайнов.</li><li>Опыт работы с инфраструктурой данных ниже managed-слоя, а не только внутри готовой SaaS-платформы.</li><li>Способность читать планы запросов и менять физическую раскладку данных для устранения проблем производительности.</li><li>Опыт создания и выпуска production backend-сервисов на Python.</li><li>Комфорт в ответственности за инфраструктуру, включая Kubernetes, Helm, Terraform или аналогичные инструменты.</li><li>Свободный английский.</li></ul><p>Будет плюсом</p><ul><li>Production-опыт с колоночным или MPP-движком, таким как StarRocks, Doris, ClickHouse, BigQuery или Snowflake, включая партиционирование, распределение и индексирование.</li><li>Опыт работы с Elasticsearch или OpenSearch в масштабе, включая mappings, ILM, tiering и reindexing.</li><li>Опыт длительной миграции, включающей dual-write, сверку и cutover.</li><li>Знание внутреннего устройства PostgreSQL.</li><li>Опыт event-driven ingestion с использованием Kafka или RabbitMQ.</li><li>Опыт работы с инструментами observability (Prometheus, Grafana, Loki), форматами lakehouse (Parquet, Iceberg) и оркестраторами, такими как Airflow.</li><li>Опыт в сфере threat intelligence, OSINT, геопространственной разведки или обороны.</li></ul><h3><strong>Мы предлагаем</strong></h3><ul><li>Возможность внести вклад в mission-driven стартап и поддерживать престижных клиентов, включая правительства по всему миру, корпоративных клиентов и ведущие NGO, в решении глобальных задач безопасности.</li><li>Автономию и свободу для проведения экспериментов и воплощения собственных идей.</li><li>Гибкость удалённой работы с возможностью присоединиться к нашим командам в Киеве и Львове.</li><li>Гибкую политику неограниченного отпуска.</li></ul> <div> <a href="https://jobs.dou.ua/companies/osavul/vacancies/374909/#reply-btn-id">Откликнуться на вакансию</a> </div>