Старший Data Engineer

Что предстоит делать

Senior Data Engineer в Fundable Постройте платформу данных, которая превращает информацию из множества источников в надёжную, актуальную бизнес-аналитику о компаниях. О Fundable Fundable — это стартап-платформа данных, которая помогает инвесторам и другим командам находить и исследовать компании. Мы объединяем информацию о компаниях, инвесторах, инвестиционной активности и людях, чтобы сделать это исследование проще. Обзор роли Мы ищем senior data engineer, который возьмёт на себя платформу данных Fundable — от архитектуры до продакшена, надёжно превращая большие объёмы данных из provider API, webhooks, файлов и web scraping в доверенные записи для наших продуктов. Сегодня наши процессы обогащения и извлечения данных в основном выполняются последовательно внутри контейнера. Вы возглавите переход к платформе, которая поддерживает параллельную обработку, событийный приём данных и оркестрируемые пакетные процессы. Что вы будете вести Приём из множества источников: Постройте параллельный приём данных для provider API, webhooks, файлов и scraping, с ограничениями скорости и обработкой сбоев. Пакетное и событийное выполнение: Оркестрируйте запланированные процессы и исторические backfill-операции с помощью таких инструментов, как Airflow, Dagster или Prefect. Постройте событийный приём данных с Pub/Sub или Cloud Tasks, включая повторные попытки, dead-letter очереди и контролируемое воспроизведение неудачных задач. Данные от raw до curated: Сохраняйте исходные payload-данные, включая provider JSON, в Google Cloud Storage (GCS) перед их преобразованием с помощью dbt. Установите medallion-слои для raw, стандартизированных и curated данных. Корректность через восстановление: Реализуйте идемпотентные upsert-операции и безопасные повторные попытки, воспроизведение и исторические backfill-операции, которые избегают дублирования записей или повреждения данных. Обеспечьте прослеживаемость данных до их источника и безопасность их повторной обработки. Качество данных и доставка: Определите data contracts, постройте автоматизированную валидацию и тесты pipeline, отслеживайте актуальность и сбои. Проектируйте и оптимизируйте схемы PostgreSQL, запросы и паттерны загрузки, чтобы downstream-продукты получали надёжные данные. Извлечение и обогащение: Интегрируйте в платформу provider-обогащение и структурированное извлечение на основе LLM из текста. Обязательный опыт Опыт построения production-платформ данных с множеством источников с нуля до единицы, от начальной архитектуры и реализации pipeline до развёртывания и текущей эксплуатации. Production-опыт с инструментами оркестрации workflow, такими как Airflow, Dagster, Prefect или Temporal, включая зависимости, повторные попытки и восстановление после сбоев. Предпочтителен опыт с Airflow. Практический production-опыт с dbt и GCP. Опыт построения событийных систем с обменом сообщениями или очередями задач, включая асинхронную обработку и восстановление после сбоев. Сильные навыки SQL и PostgreSQL, включая моделирование данных, оптимизацию запросов и надёжную инкрементальную загрузку. Опыт с data contracts, хранением raw и curated данных, политиками хранения и автоматизированными проверками качества. Сильные навыки Python, включая асинхронный HTTP и параллельную обработку с помощью таких инструментов, как asyncio, aiohttp или HTTPX. Практический опыт web scraping с такими инструментами, как Scrapy, Playwright, Selenium или Beautiful Soup, включая параллельный scraping, ограничения скорости и обработку сбоев. Желательный опыт Опыт работы в стартапах или небольших инженерных командах с широкой зоной ответственности и меняющимися приоритетами. Опыт entity resolution особенно ценен: сопоставление записей о компаниях и людях из разных источников и согласование дубликатов в консистентные сущности. Структурированное извлечение на основе LLM или обогащение данных о компаниях и людях. Знакомство с BigQuery и Dataform. Местоположение и часы работы Нет обязательного местоположения или пересечения по рабочим часам.