Старший Data Engineer — Data Platform и Оркестрация

Что предстоит делать

<h3>Senior Data Engineer — Data Platform &amp; Orchestration</h3><ul><li>Формат работы: полная занятость; удаленно</li><li>Отдел: Data Science</li><li>Руководитель: Head of Data Science</li><li>Язык: английский; рабочий русский — преимущество</li></ul><h3>О компании Deep Knowledge Group</h3><p>Deep Knowledge Group (<a href="https://www.dkv.global/" target="_blank">www.dkv.global</a>) создает крупномасштабные аналитические базы данных, системы инвестиционной аналитики, отраслевые экосистемные платформы, индексы конкурентоспособности и интерактивные дашборды в передовых отраслях, включая AI, Longevity, HealthTech, DeepTech и QuantumTech.</p><p>Отдел Data Science создает и поддерживает базы данных отраслевой аналитики, лежащие в основе этих продуктов, — организации, люди, продукты и связи между ними в различных секторах и регионах. Каждая из них начинается с «сырых» публичных данных и должна превратиться в чистый, дедуплицированный, проверяемый набор данных, на который могут полагаться аналитики и downstream-продукты.</p><h3>О роли</h3><p>Сейчас мы создаем каждую базу данных так же, как и предыдущую. Сборщики — это скрипты, привязанные к конкретным источникам, планирование — ручное, качество — то, что проверил человек, который ее создавал, и ничто не связывает одну базу данных с другой. Это работает при нашем текущем масштабе, но не будет работать на следующем этапе.</p><p>Мы ищем Senior Data Engineer, который возьмет на себя ответственность за общую платформу, которая заменит этот подход: единый фреймворк сбора и обогащения, на котором работает каждая база данных, с оркестрацией, мониторингом, происхождением данных (provenance) и разрешением сущностей (entity resolution) как свойствами системы, а не тем, о чем отдельные инженеры должны помнить вручную.</p><p>Это роль с высокой степенью ответственности (ownership role). Вы будете напрямую работать с Head of Data Science над архитектурой, и именно к вам другие инженеры будут приходить с дизайн-решениями. Мы ищем не просто дополнительные руки; мы ищем вторую точку принятия технических решений в отделе.</p><h3>Ключевые обязанности</h3><ul><li>Проектировать и владеть общим фреймворком сбора и обогащения: что является переиспользуемым, что остается специфичным для источника, и где проходит граница между ними.</li><li>Владеть оркестрацией «end-to-end»: планирование, зависимости, повторы, бэкфиллы, инкрементальные и идемпотентные перезапуски.</li><li>Сделать разрешение сущностей постоянным сервисом, а не разовым усилием в рамках проекта: блокирование, сопоставление, пороговые значения и защищаемое объяснение того, почему было выполнено объединение.</li><li>Спроектировать модель происхождения данных (provenance): каждое значение должно быть прослеживаемо до его источника, даты получения и логики, которая его преобразовала, даже спустя шесть месяцев.</li><li>Установить и обеспечить соблюдение правила staging-and-promotion: ничто не пишет напрямую в production-таблицы.</li><li>Создать мониторинг и наблюдаемость для данных, а не только для джобов: свежесть, покрытие, доля null-значений, дрейф распределений, изменения схем источников.</li><li>Определить стандарт качества: точность, полнота, доля дубликатов, свежесть, происхождение — и инструмент, который это измеряет.</li><li>Задать схемы, конвенции и стандарты ревью, по которым будет работать остальной отдел.</li><li>Спроектировать детерминированную основу нашей агентной сети и решить, где уместен агент, а где обычный код дешевле, быстрее и тестируемее.</li><li>Мигрировать существующие базы данных на общий фреймворк совместно с инженерами, которые их создавали.</li><li>Наставлять других инженеров и помогать им снимать блокеры; принимать архитектурные решения, разгружая руководителя отдела.</li></ul><h3>Требуемые навыки</h3><ul><li>Уверенное владение Python — вы пишете сервисы и пайплайны, а не ноутбуки.</li><li>Вы владели целой data-платформой, а не просто выполняли задачи на ней: оркестрация, планирование, мониторинг, бэкфиллы.</li><li>Airflow, Dagster или Prefect в production, с обоснованным мнением, почему выбран именно этот инструмент.</li><li>Глубокое знание SQL и PostgreSQL: индексирование, планы запросов, проектирование схем, миграции.</li><li>Разрешение сущностей или связывание записей (record linkage) для источников, которые противоречат друг другу, включая то, как вы измеряли эффективность этого процесса.</li><li>Вы устанавливали стандарты, по которым затем работали другие: схемы, конвенции, ревью.</li><li>Docker, CI/CD и уверенная работа с production-системами на обычной инфраструктуре, а не на управляемой платформе.</li><li>Практический опыт работы с LLM API и с валидацией недетерминированного вывода до того, как он попадет в production-таблицу.</li><li>Дисциплина качества данных: вы можете указать долю дубликатов или устаревание полей в наборе данных, основываясь на доказательствах, а не на визуальной проверке.</li><li>Способность четко изложить дизайн-решение письменно, чтобы кто-то другой мог с ним поспорить.</li></ul><h3>Весомые преимущества</h3><ul><li>Production-сбор данных из публичных веб-источников: анти-бот защита, страницы с JS-рендерингом, недокументированные API, дрейф источников.</li><li>Графы знаний, онтологии и канонические модели сущностей в нескольких доменах.</li><li>Инструменты происхождения данных (lineage) и управления данными (governance) в production, используемые людьми, кроме их автора.</li><li>Фреймворки оркестрации агентов и четкое понимание их ограничений.</li><li>Векторный поиск и RAG-пайплайны.</li><li>Опыт превращения ad-hoc скриптов команды во фреймворк, который команда затем приняла и использовала.</li><li>Методология OSINT и верификация источников.</li></ul> <div> <a href="https://jobs.dou.ua/companies/deep-knowledge-ventures/vacancies/372419/#reply-btn-id">Откликнуться на вакансию</a> </div>