Data Engineer / Web Scraping Engineer
Ищем инженера для сбора и обработки данных из веба: парсинг, ETL, работа с прокси и антибот-защитой. Нужен опыт в Python, SQL и Docker. Предлагают удаленную работу, современные AI-инструменты и интересные задачи в международной компании.
Зарплата на уровне рынка
В пределах ±10% медианы Python по 155 вакансиям за 90 дней.
Что предстоит делать
Немного о нас itBoat Group — международная группа компаний, основанная в 2010 году. В группу входит крупный онлайн-маркетплейс о яхтах itBoat.com и брокерская компания по продаже, аренде и менеджменту яхт. Кроме этого, мы являемся дистрибьюторами нескольких ведущих мировых яхтенных брендов в ряде стран СНГ и Ближнего Востока.
- Разрабатывать и поддерживать пайплайны сбора данных из веба, внешних источников и API
- Строить устойчивую инфраструктуру для scraping-задач: прокси, ротация IP, rate limits, retries, очереди, мониторинг
- Работать с anti-bot ограничениями, headless-браузерами и нестабильными источниками данных
- Проектировать ETL / ELT-процессы и доставку данных в аналитические и продуктовые системы
- Поддерживать backend-сервисы, связанные со сбором, обработкой и выдачей данных
- Настраивать хранение данных: сырые данные, промежуточные слои, очищенные и готовые к использованию датасеты
- Следить за качеством данных, отказоустойчивостью и наблюдаемостью пайплайнов
- Использовать современные инструменты агентной разработки для ускорения разработки и поддержки решений
- Что нам важно
- Практический опыт в web scraping и промышленном сборе данных из веба
- Опыт настройки и использования прокси-инфраструктуры
- Понимание, как строить надежные data pipelines: ingestion, transform, validation, delivery
- Уверенные знания SQL и опыт работы с реляционными базами данных
- Понимание принципов backend-разработки: сервисы, API, очереди, обработка ошибок, логирование
- Знания Python и готовность использовать его в задачах сбора и обработки данных
- Понимание работы с большими объемами данных, пакетной и/или потоковой обработкой
- Опыт работы с Docker и базовыми DevOps-практиками будет плюсом
- Английский язык не ниже B2 — работать предстоит прежде всего с англоязычными источниками данных
- Будет большим плюсом
- Опыт использования современных AI / agentic dev tools, включая Claude Code или Codex (вся наша компания уже работает на Claude)
- Опыт с Playwright, Puppeteer, Selenium или аналогичными инструментами
- Опыт работы с Firecrawl / Apify или аналогами
- Опыт проектирования data lake / data warehouse слоев
- Опыт работы с PostgreSQL, ClickHouse, Redis, объектным хранилищем типа S3 / MinIO
- Опыт с orchestration-инструментами вроде Airflow, Prefect или Dagster
- Понимание антибот-защиты, fingerprinting, Cloudflare-like ограничений и способов аккуратной работы с ними
- Опыт построения распределенных систем сбора данных
- Что за профиль мы ищем
- Это не узкая вакансия только под data engineering / scraping и не классический backend-only профиль. Нам нужен инженер, который умеет:
- собирать данные из сложных веб-источников,
- превращать это в устойчивый pipeline,
- хранить и нормализовывать данные,
- при необходимости — дописывать минимальную backend-логику вокруг этих процессов,
- а самое главное — захочет разобраться во всех нюансах нашего домена (яхты и все что с ними связано) с тем чтобы активно участвовать в разработка продуктов на базе накопленных и структурированных компанией данных.
Что предлагаем
Стек и инструменты
Подходит ли вам эта вакансия?
Зарегистрируйтесь и загрузите резюме — посчитаем % совпадения с этой вакансией, подсветим сильные стороны и что стоит подтянуть
Похожие вакансии
6 вакансий
Инженер RAG-систем (Python/ML)
Компания LumosIT ищет опытного инженера для разработки интеллектуальных баз знаний на основе RAG. В задачи входит проектирование пайплайнов, работа с Knowledge Graph и локальный деплой LLM. Требуется глубокий опыт в Python, ML и RAG. Предлагают удаленную работу и зарплату от 180 до 260 тысяч рублей.
Middle Backend/Fullstack-разработчик (Python, React.js)
Loyal Club ищет middle-разработчика для интеграций своего продукта с внешними системами (кассы, CRM, ресторанные системы). Нужно писать backend на Python, работать с API, PostgreSQL и React.js. Предлагают удалённую работу, полную занятость и зарплату от 140 000 до 180 000.
Python-разработчик (Middle/Senior)
Мы ищем опытного Python-разработчика для создания высоконагруженных бэкенд-сервисов с нуля. Ты будешь проектировать микросервисную архитектуру, оптимизировать производительность и интегрироваться с внешними системами. Предлагаем работу в формате outstaff над сложными проектами для крупных клиентов.
Python разработчик (общеплатформенные решения)
~729 300 – 1 458 600 ₸ оценка
Ищем Python-разработчика для создания общеплатформенных сервисов и инструментов для разработчиков. Нужно знание FastAPI, SQLAlchemy, Docker, Kubernetes и опыт с асинхронным кодом. Предлагают удаленную работу, гибкий график, ДМС и возможности для обучения.
Fullstack-разработчик
~729 300 – 1 458 600 ₸ оценка
Ищем fullstack-разработчика для автоматизации контроля качества товаров. Нужно проектировать и разрабатывать API на Python, создавать frontend на Vue, работать с Postgres и Kubernetes. Требуется опыт от 2 лет, умение составлять ТЗ и покрывать код тестами.
Python разработчик (Data Office)
~729 300 – 1 458 600 ₸ оценка
Ищем Python-разработчика для внедрения и поддержки цифровых сервисов в дата-офисе. Нужен опыт от 3 лет, уверенное владение Python, FastAPI/Flask, SQL и Git. Предлагаем удаленную работу, ДМС и возможности для роста.