Middle Scraping инженер

Что предстоит делать

<p>Мы ищем сообразительного, проактивного и опытного <strong>Middle Scraping Engineer</strong>, который присоединится к нашей команде и будет развивать наши операции по извлечению веб-данных.<br>Это не типичная backend-роль. Вы будете работать со сложными веб-структурами, серьёзными антибот-механизмами, инфраструктурой, рассчитанной на масштаб, и высоконагруженными системами скрейпинга.<br>Вы будете расширять покрытие краулинга, поддерживать огромный парк краулеров, проектировать решения для обхода блокировок и обеспечивать высокое качество данных в рамках строгих SLA.<br><br><b>Почему эта роль интересна</b> <br>Скрейпинг на уровне Middle — это продвинутый веб-реверс-инжиниринг в сочетании с масштабируемой архитектурой систем.<br>Каждый целевой сайт — это динамичное поле боя: продвинутые антиботы, CAPTCHA, фингерпринтинг, динамический рендеринг JavaScript и меняющиеся структуры. Вы не просто будете писать скрипты — вы будете создавать отказоустойчивую автоматизированную инфраструктуру data pipeline, которая без проблем обрабатывает миллионы запросов.<br>Мы предлагаем среду, где ваша техническая инициатива напрямую влияет на production. У вас будет полная ответственность за сложные скраперы и свобода экспериментировать с новыми подходами к обходу блокировок и инженерными решениями.<br><br><b>Что вы будете делать</b></p><ul><li>Поддерживать и оптимизировать существующий крупномасштабный парк краулеров для обеспечения высокой доступности;</li><li>Расширять покрытие краулинга, разрабатывая скраперы для новых сложных целевых сайтов;</li><li>Повышать качество, пропускную способность и успешность существующих краулов;</li><li>Исследовать, обновлять и разрабатывать кастомные решения для обхода современных антибот-защит;</li><li>Обеспечивать стабильную поставку данных, строго соблюдая SLA клиентов;</li><li>Помогать команде справляться с нагрузкой, активно беря на себя R&amp;D-задачи, решая сложные edge cases и наставляя младших инженеров.</li></ul><p><b>Что мы ожидаем</b></p><ul><li>Уверенное владение Python («Python Ninja») и практики чистого, масштабируемого кода;</li><li>Глубокая экспертиза в Scrapy, Playwright и асинхронном сетевом взаимодействии;</li><li>Прочный практический опыт управления прокси (residential, datacenter, ротируемые сети, привязка сессий);</li><li>Опыт работы с продвинутыми инструментами и техниками обхода блокировок (обход Cloudflare, Akamai, Datadome, солверы CAPTCHA, TLS/browser fingerprinting);</li><li>Практические знания DevOps (Docker, CI/CD pipelines, оркестрация контейнеров, мониторинг);</li><li>Сильные навыки веб-реверс-инжиниринга (анализ сетевого трафика, API endpoints, сообщений WebSocket, минифицированного JS);</li><li>Опыт создания или развертывания масштабируемой инфраструктуры веб-скрейпинга;</li><li>Высокий уровень ответственности, ориентация на SLA и нацеленность на результат;</li><li>Отличная командная работа, быстрота мышления и сильные навыки решения проблем в стрессовых ситуациях.</li></ul><p><strong>Вам это точно понравится, и вот почему:</strong></p><ul><li>Богатый инновационный software stack, свобода выбирать наиболее подходящие технологии;</li><li>Идеология remote-first: свобода работать из дома или из любого подходящего коворкинга;</li><li>Гибкий рабочий график (мы начинаем с 8 до 11 утра) и никаких систем учёта времени;</li><li>Регулярные пересмотры результатов работы и компенсации;</li><li>Регулярные 1-1 и измеримые OKR;</li><li>Глубокий онбординг с чётким треком успеха;</li><li>Competera покрывает 70% стоимости вашего обучения/курса;</li><li>20 дней отпуска, 15 выходных дней и до одной недели оплачиваемых рождественских праздников;</li><li>20 рабочих дней больничного.</li></ul><p><strong>Двигайте инновации вместе с нами. Будьте Competerian.</strong> <br><br></p> <div> <a href="https://jobs.dou.ua/companies/competera/vacancies/373448/#reply-btn-id">Откликнуться на вакансию</a> </div>