Python разработчик (контрактор)

Что предстоит делать

<p><strong>CodeIT </strong>— компания по разработке сервисных продуктов. Мы знаем, как превратить бизнес-идеи в прибыльные IT-продукты. Мы ищем опытного и квалифицированного Python Developer (Contractor) в нашу команду.</p><p><strong>Описание проекта</strong></p><p>AI-платформа для практики строительства и проектов глобальной консалтинговой фирмы. Платформа отвечает на сложные вопросы по крупным портфелям строительных и инфраструктурных проектов, опираясь на 1M+ документов (10+ ТБ) на каждого клиента.</p><p><strong>Обязанности</strong></p><ul><li>Построение пайплайна пакетной загрузки (batch ingestion) как возобновляемой, партиционированной кампании: инвентаризация источников, загрузка, классификация, дедупликация, манифест, отслеживающий каждый документ, повторные попытки и quality gates перед публикацией.</li><li>Обработка каждого класса документов: извлечение нативного текста, OCR на базе GPU и разбор layout для сканов, таблиц и штампов чертежей, с эскалацией сложных страниц к более сильным моделям.</li><li>Генерация AI-ассетов: структуро-ориентированные чанки, эмбеддинги, иерархические суммаризации (документ, проект, портфель), извлечённые идентификаторы и метаданные с provenance, в версионируемом озере ассетов (например, S3 с Iceberg).</li><li>Проектирование индексов и связей между ними (гибридные BM25 + векторные индексы, партиционированные по проекту, индексы суммаризаций и идентификаторов) и пайплайна извлечения (retrieval): предфильтрация, гибридный поиск, реранжирование, иерархическая навигация, сжатие контекста.</li><li>Ответственность за качество и стоимость retrieval: оценочный harness с golden-набором вопросов; бенчмарки парсеров, эмбеддингов и индексов; стоимость на 1 000 страниц и на вопрос.</li><li>Запуск крупных кампаний в продакшене: ёмкость GPU и batch-inference, тюнинг пропускной способности, инкрементальные обновления и ревизии документов после первоначальной загрузки.</li></ul><p><strong>Обязательные требования</strong></p><ul><li>Крупномасштабная пакетная обработка в продакшене (миллионы документов или multi-TB) с Spark, Ray, AWS Batch/Glue, Kubernetes jobs или эквивалентом; идемпотентные, возобновляемые пайплайны.</li><li>Поисковые и векторные базы данных в масштабе (OpenSearch/Elasticsearch, pgvector, Milvus, Qdrant или аналогичные): проектирование индексов, гибридный поиск, партиционирование, тюнинг ANN, квантизация.</li><li>Разбор документов, OCR и извлечение таблиц для сканированных и сложных документов (например, Docling, Unstructured, PaddleOCR, Textract, Azure Document Intelligence, vision-language модели).</li><li>Инженерия RAG: чанкинг, эмбеддинги, реранкеры, фильтрация по метаданным, иерархический retrieval и суммаризация.</li><li>Оценка retrieval: golden-наборы, метрики recall, precision и faithfulness; решения на основе бенчмарков, а не по умолчанию.</li><li>Python и крупный облачный провайдер в продакшене: предпочтительно AWS (S3, Batch/EKS, Step Functions, Bedrock, OpenSearch Service); принимается эквивалентный опыт с Azure или GCP.</li><li>Опыт оценки и контроля затрат на GPU, вычисления и <nobr>LLM-token</nobr> для крупных пайплайнов.</li></ul><p><strong>Желательные навыки</strong></p><ul><li>GPU-инференс для моделей документов и эмбеддингов (vLLM, Triton, TEI); spot-флоты; batch inference API.</li><li>Parquet и Apache Iceberg или Delta Lake; версионирование данных и lineage.</li><li>Графы знаний или entity linking между документами (подходы в стиле GraphRAG).</li><li>Retrieval с фильтрацией по правам доступа и требованиями аудита.</li><li>Строительные или инженерные документы, системы управления проектами (Primavera, Ecosys, SharePoint, Aconex) или другая область с большим объёмом документов, например legal или e-discovery.</li><li>Эксплуатация одной системы в нескольких облаках или внутри собственных облачных аккаунтов клиентов.</li></ul> <div> <a href="https://jobs.dou.ua/companies/codeit/vacancies/379403/#reply-btn-id">Откликнуться на вакансию</a> </div>