Инженер по сбору данных (Data Engineer)

Что предстоит делать

##### О работе Мы создаем и поддерживаем базы данных отраслевой аналитики — организации, люди, продукты и их взаимосвязи в таких секторах, как HealthTech, QuantumTech, LegalTech и велнес, охватывая несколько регионов. Каждая из них начинается с «сырых» публичных данных и должна превратиться в чистый, дедуплицированный, проверяемый набор данных, на который могут полагаться аналитики и downstream-продукты. Это означает, что сложные задачи здесь — не «написать скрапер». Они в другом: как понять, что две записи — это одна и та же организация? Как доказать, откуда взялось поле шесть месяцев спустя? Как перезапустить сбор данных с источника, который изменил свою разметку, не повредив то, что уже есть? Вы будете работать напрямую с руководителем направления Data Science и командой инженеров по AI и данным. Что вы будете делать Создавать и сопровождать пайплайны сбора данных из публичных веб-источников — структурированных, полуструктурированных и «неудобных» Проектировать слой обогащения: нормализация, дедупликация, разрешение сущностей, оценка уверенности Вести происхождение (provenance) каждого поля, чтобы любое значение можно было проследить до источника и даты Использовать LLM там, где они действительно полезны — извлечение из неструктурированного текста, классификация, назначение таксономий — и понимать, где они не работают Переводить наборы данных от разового сбора к регулярным, отслеживаемым, перезапускаемым пайплайнам Определять и обеспечивать проверки качества: покрытие, актуальность, доля дубликатов, полнота полей Что мы ищем Оба уровня Сильный Python — вы пишете сервисы и пайплайны, а не ноутбуки Реальный продакшн-опыт в скрапинге: сессии, лимиты запросов, ретраи, блокировки, антибот-защита, JS-рендеринг страниц, недокументированные API SQL и PostgreSQL за пределами CRUD — индексы, планы запросов, проектирование схем Практический опыт работы с LLM API для извлечения и классификации, включая валидацию их результатов Чутье на качество данных: вы проверяете собранное, прежде чем передавать дальше Дополнительно для позиции Senior Вы владели платформой данных целиком, а не отдельными задачами на ней — оркестрация, планирование, мониторинг, бэкфиллы Опыт в разрешении сущностей или связывании записей из источников, которые противоречат друг другу Airflow, Dagster или Prefect в продакшене Вы задавали стандарты, по которым работали другие: схемы, конвенции, ревью Будет плюсом Docker и CI/CD Графы знаний, онтологии или проектирование таксономий Векторный поиск и RAG-пайплайны Методология OSINT и проверка источников Опыт работы с лицензированием данных или ограничениями комплаенса при сборе из публичного веба Как мы нанимаем Вводный звонок — 30 минут, взаимное соответствие и то, что вы реально создавали Оплачиваемое тестовое задание — реальная, ограниченная по объему часть нашей работы. Оплачивается по рыночной ставке, примерно 4 часа. Мы не просим никого работать бесплатно Техническое ревью — мы вместе разбираем ваше решение: ваши компромиссы, что бы вы сделали при наличии большего времени, что бы сделали иначе при десятикратном объеме данных Оффер — вилка зарплаты определяется уровнем, на который вы выходите, а не должностью, на которую вы подавались Мы оцениваем тестовое задание по качеству суждений, а не по «полировке». Воспроизводимость, честная работа с краевыми случаями и ясные рассуждения о том, что вы решили не делать, ценятся выше, чем остроумная однострочная находка. Что для нас важно Две вещи, в основном. Вы подвергаете сомнению собственные данные. Инженеры, которые хорошо работают у нас, — это те, кто замечает, что источник молча изменил свою схему, что «97% совпадений» скрывает систематическое смещение, что поле заполнено, но неверно. Объем без проверки для нас ничего не стоит. Вы объясняете свои рассуждения. Значительная часть этой работы — это оценочные суждения, которые никто не может быстро проверить: какая запись побеждает при слиянии, какой порог уверенности использовать, когда прекратить обогащение. Нам нужно, чтобы эти решения были задокументированы и защитимы, а не спрятаны в скрипте. Чтобы подать заявку: отправьте резюме плюс один короткий абзац о самой сложной задаче по сбору данных или дедупликации, которую вы решили, и о том, что вы сделали неправильно на этом пути.