Старший Python разработчик (Сбор данных / Веб-скрейпинг)

Мы — глобальная компания OSINT, штаб-квартира которой находится в США, предоставляющая следователям и специалистам по безопасности передовые продукты на основе искусственного интеллекта. Наша технология собирает и анализирует огромные объемы данных из открытых источников, включая социальные сети, мессенджеры и даркнет, чтобы создать полную картину для основанных на данных расследований и принятия решений. Нашими клиентами являются компании из списка S&P 500 и правоохранительные органы более чем в 80 странах мира. Social Links быстро масштабируется, удваивая свои показатели ежегодно, с амбициями стать единорогом с оценкой более $1 млрд. Мы ищем старшего разработчика Python (сбор данных / веб-скрейпинг). Ваши задачи будут включать: • Проектирование и разработка новых сервисов. • Рефакторинг и оптимизация существующего кода и устаревших сервисов. • Принятие архитектурных и технических решений. • Оптимизация краулеров и потоков данных. • Поддержка систем сбора данных в производственной среде. • Исследование новых источников данных. • Проведение код-ревью и наставничество для младших/средних разработчиков. • Создание и поддержка технической документации. Наш идеальный кандидат имеет: Обязательные (Must Have) Сбор данных / Веб-скрейпинг • Веб-скрейпинг: BeautifulSoup, Playwright. • Парсинг и структурирование данных: JSON, XML, HTML. • Глубокое понимание HTTP, управления сессиями и использования прокси. • Опыт обхода ограничений по скорости и анти-бот систем. • Опыт работы с трудными для скрейпинга источниками (например, среда, подобная Facebook/TikTok). • Опыт использования инструментов ИИ для поддержки парсинга/извлечения данных. Архитектура / Распределенные паттерны • Опыт проектирования архитектуры и рефакторинга устаревших сервисов. • Понимание событийно-ориентированной архитектуры. • Опыт работы с паттернами распределенных систем. Python / Backend • Сильный коммерческий опыт в разработке бэкенда на Python. • Умение работать с async/await, типизированными подсказками, ООП. • FastAPI/Django/Flask (3+ года). • Понимание RESTful API и GraphQL. Базы данных • Сильные навыки SQL (сложные запросы, индексация, оптимизация производительности). • Практический опыт работы с реляционными базами данных; опыт с NoSQL будет плюсом. • Опыт работы с ORM (SQLAlchemy и/или Django ORM). Асинхронная обработка • Celery, RabbitMQ, Kafka. DevOps • Docker, Docker Compose. • CI/CD: GitLab CI / GitHub Actions. • Kubernetes (базовое понимание). • Опыт работы с облачными сервисами: AWS и/или GCP. Тестирование • Pytest (модульные + интеграционные тесты). Языки • Русский: продвинутый уровень или выше. • Английский: средний уровень или выше. Предпочтительные (Nice to Have) • Реверс-инжиниринг мобильных приложений. • Опыт парсинга из мобильных приложений. • Реверс-инжиниринг API. • Методологии и инструменты OSINT. • Компьютерное зрение для анализа изображений. • Опыт работы с высоконагруженными системами. • Другие языки: Go, JavaScript/TypeScript, Rust. • API LLM (OpenAI GPT, Anthropic Claude, Google Gemini). • Интеграция ИИ в потоки данных для обогащения данных.