Python разработчик (Flask, парсинг данных)

Что предстоит делать

Мы нанимаем разработчика на полную ставку для создания и поддержки наших платформ на Python/Flask, которые собирают данные с постоянно растущего списка веб-сайтов. Мы ищем инженера, который возьмёт на себя ответственность за эти данные от начала до конца: надёжно их собирать, хорошо структурировать, анализировать с помощью AI и предоставлять через API, от которых зависят наши другие приложения. Что вы будете делать 1. Скрапинг Добавлять новые сайты в скрапер. Анализировать структуру каждого целевого сайта, писать парсеры с помощью BeautifulSoup4 и отображать извлечённые данные в наши модели базы данных. Поддерживать существующие скраперы. Диагностировать и исправлять поломки, вызванные изменениями вёрстки, новыми анти-бот мерами или изменёнными эндпоинтами. Работать с нашим адаптивным HTTP-клиентом. Наш клиент выполняет fallback по цепочке curl_cffi → httpx → requests → hrequests. Вы будете настраивать его для каждого сайта, обрабатывая заголовки, cookies, сессии, TLS/имитацию браузера и повторные попытки. Обеспечивать надёжность ежедневных запусков. Добавлять логирование, оповещения и отчёты о сбоях в наши запланированные задачи, чтобы проблемы выявлялись быстро. 2. Проектирование базы данных Проектировать чистые, масштабируемые схемы. Моделировать собранные данные с правильной нормализацией, ключами, ограничениями и индексами, балансируя целостность данных и производительность запросов. Безопасно управлять изменениями схемы. Использовать миграции (Alembic / Flask-Migrate) в SQLite при разработке и PostgreSQL в продакшене. Защищать качество данных. Валидировать, нормализовать и дедуплицировать данные, чтобы всё, что строится на их основе, могло на них полагаться. 3. AI и анализ данных Превращать сырые данные в инсайты. Анализировать собранные данные, чтобы находить тренды, аномалии и закономерности, важные для бизнеса. Применять LLM там, где они приносят пользу. Использовать модели, такие как Claude или GPT, для классификации, суммаризации, извлечения сущностей и структурированного вывода из неструктурированного текста. Улучшать то, как наш AI рассуждает. Проектировать и итеративно улучшать промпты, определять схемы структурированного вывода, строить наборы для оценки и измерять точность, чтобы результаты AI со временем становились лучше, а не просто другими. 4. API и интеграция Создавать API для наших других приложений. Проектировать и реализовывать хорошо документированные REST API на Flask с согласованными схемами запросов и ответов, версионированием, пагинацией и обработкой ошибок. Обеспечивать их безопасность и масштабируемость. Реализовывать аутентификацию, ограничение частоты запросов (Flask-Limiter) и валидацию входных данных, а также документировать эндпоинты с помощью OpenAPI/Swagger.