Старший AI Data Engineer

О компании Pulse Intelligence Pulse Intelligence создает окончательную платформу данных для глобальной горнодобывающей отрасли. Мы агрегируем, обрабатываем и обогащаем данные из сотен источников (регуляторные отчеты, фондовые биржи, веб-сайты компаний, новости и финансовые API), чтобы предоставить горнодобывающим инвесторам и аналитикам актуальный и комплексный обзор каждого горнодобывающего актива, компании и товара на планете. Наша платформа сочетает в себе масштабный веб-скрейпинг с извлечением данных на основе LLM, чтобы преобразовать неструктурированные документы (технические отчеты NI 43-101, объявления RNS, документы SEDAR) в структурированную, доступную для запросов информацию. Мы небольшая команда, работающая быстро, и каждый инженер оказывает значительное влияние на продукт. О роли Мы ищем старшего инженера по данным в области ИИ, который возьмет на себя ответственность за весь наш конвейер данных, от загрузки сырых документов до извлечения данных с помощью ИИ и создания чистых, структурированных записей в нашей базе данных. Вы будете техническим лидером по приобретению и обогащению данных: проектирование скрейперов для новых источников, разработка стратегий извлечения LLM, принятие решений по моделированию данных и обеспечение качества и охвата нашей базы данных горнодобывающих активов. Это роль с высокой автономией для человека, который может видеть общую картину и выполнять детали. Вы будете решать, какие источники данных приоритизировать, как структурировать конвейеры извлечения и когда инвестировать в автоматизацию по сравнению с ручной кураторской работой. Вы будете разрабатывать скрейперы в один день, redesign-ить конвейер извлечения сущностей на следующий, и наставлять команду по лучшим практикам на протяжении всего процесса. Что вы будете делать - Владеть приобретением данных и скрейпингом - определять, приоритизировать и создавать скрейперы для новых источников данных (биржи, регуляторные отчеты, веб-сайты компаний, финансовые API) и масштабировать их для надежной работы в производстве - Проектировать конвейеры извлечения LLM - разрабатывать и итеративно улучшать конвейеры, основанные на запросах, которые извлекают структурированные данные о горнодобывающих активах (активы, производство, запасы, компании) из неструктурированных документов - Создавать конвейер обработки документов - обрабатывать сырые PDF, HTML и отчеты от загрузки до чистых, структурированных данных с использованием OCR, парсинга, дедупликации и нормализации текста - Обеспечивать качество и охват данных - разрабатывать процессы проверки, дедупликации и обогащения, а также владеть моделью данных, которая поддерживает точность и хорошую структуру нашей базы данных горнодобывающих активов - Поддерживать работу конвейеров - контролировать запланированные задания, проектировать для восстановления после сбоев и обеспечивать масштабируемость системы без ручного вмешательства Что вам нужно - Более 5 лет опыта работы с Python в области инженерии данных или бэкенд-разработки - Веб-скрейпинг в больших масштабах - вы создавали и поддерживали производственные скрейперы (Scrapy, Playwright, Selenium или аналогичные) - Проектирование запросов - вы использовали LLM API (OpenAI, Anthropic или аналогичные) для извлечения структурированных данных из неструктурированного текста и систематически улучшаете запросы - Сильные навыки SQL и моделирования данных - вы разрабатывали схемы и оптимизировали запросы в PostgreSQL или аналогичных системах - Самостоятельность - вы определяете, что нужно сделать, и доводите это до завершения с минимальным контролем Дополнительные пожелания - Знания в области горнодобывающей или ресурсной отрасли (NI 43-101, JORC, классификации ресурсов) - AWS (S3, EKS) или аналогичная облачная инфраструктура - Самопроверка LLM, цепочка размышлений или агентные конвейеры - Опыт работы с инструментами оркестрации рабочих процессов (Airflow, Dagster или аналогичные) - Опыт наставничества инженеров или руководства небольшой командой данных Преимущества - Работа над продуктом, который охватывает всю глобальную горнодобывающую отрасль - Небольшая команда - ваша работа непосредственно формирует продукт - Удаленная работа с гибким графиком - Доля в растущей платформе Процесс найма - Вводный звонок - 30 минут - Тестовое задание на дом - 6 часов - Интервью на техническое и культурное соответствие - 1 час - Интервью по проектированию системы - 1 час - Финальная беседа с CEO - предложение в течение 48 часов