Контрактный разработчик веб-скрапинга и извлечения данных

Что предстоит делать

<p>Мы ищем контрактного разработчика по веб-скрапингу и интеллектуальному анализу данных для надежного сбора и структурирования данных из широкого спектра публичных онлайн-источников. Идеальный кандидат быстро выполняет работу, уделяет первостепенное внимание точности и может самостоятельно пройти путь от первоначальной оценки источника до получения чистых, пригодных для использования данных.</p><h3><b>Обязанности:</b></h3><ul><li>Создавать и поддерживать скраперы и краулеры для извлечения структурированных данных с веб-сайтов, API и публичных записей, включая сайты с пагинацией, динамическим JavaScript-контентом и мерами защиты от ботов.</li><li>Работать с разнообразными типами источников и форматами (HTML, JSON, PDF, отсканированные документы, страницы не на английском языке) и предоставлять чистые, хорошо структурированные выходные данные (CSV/JSON или записывать напрямую в наши конвейеры и базы данных).</li><li>Разрабатывать переиспользуемые скрипты и утилиты для автоматизации повторяющихся задач по сбору и мониторингу.</li><li>Диагностировать и исправлять скраперы при изменении исходных веб-сайтов, а также адаптироваться к новым источникам по мере необходимости.</li><li>Четко документировать всю работу, чтобы другие члены команды могли запускать и поддерживать ее.</li></ul><h3><b>Требуемые навыки и опыт</b></h3><ul><li>Отличное владение Python с практическим опытом использования Scrapy, Selenium (или Playwright), BeautifulSoup и requests.</li><li>Солидный опыт работы с API (REST, аутентификация, ограничения скорости) и SQL.</li><li>Подтвержденная способность решать распространенные проблемы анти-скрапинга, включая ротацию прокси, управление заголовками и сессиями, CAPTCHA и ограничение скорости.</li><li>Опыт обработки больших объемов неструктурированных или противоречивых данных с неизменным подтверждением точных, верифицированных результатов.</li><li>Способность самостоятельно работать в течение всего цикла разработки: оценка источника, создание решения и предоставление пригодных для использования данных.</li><li>Четкая коммуникация и надежное соблюдение сроков.</li></ul><h3><b>Предпочтительные квалификации</b></h3><ul><li>Дополнительные языки программирования (Go, Perl, Java, JavaScript) и опыт обратной разработки для сложных источников.</li><li>Опыт работы с источниками не на английском языке и OCR.</li><li>Знакомство с облачными архитектурами скрапинга на основе очередей (например, AWS, контейнеризированные воркеры, коммерческие прокси-сервисы).</li><li>Опыт работы с публичными записями, корпоративными реестрами, судебными документами или аналогичными структурированными и полуструктурированными источниками.</li><li>Заинтересованность в поддержке расследовательской, прозрачной или общественно значимой работы.</li></ul><h3><b>Качества сильного кандидата</b></h3><ul><li>Приверженность точности и качеству.</li><li>Развитые навыки решения проблем и способность быстро осваивать новые технологии.</li><li>Проактивная коммуникация и надежное соблюдение сроков.</li><li>Сдержанность и надежность при работе с конфиденциальными проектами.</li></ul> <div> <a href="https://jobs.dou.ua/companies/js-dynamics/vacancies/366005/#reply-btn-id">Откликнуться на вакансию</a> </div>