Python-разработчик / Инженер ETL

Что предстоит делать

- Развёртывание и сопровождение платформы на стендах и у заказчиков: Linux, Docker/Compose, GitLab CI/CD, SSH-деплой. - Проектирование и эксплуатация production ETL/ingestion-пайплайнов на Apache NiFi: flow design, backpressure, гарантии доставки, ретраи, версионирование flows (NiFi Registry). - Настройка и доработка коннекторов/адаптеров к внешним источникам: ODBC, REST/SOAP, файлы, 1С, ClickHouse. - Администрирование и оптимизация PostgreSQL: сложные запросы, планы, индексы, кэширование. - Диагностика стендов по SSH, разбор инцидентов в Docker-окружении.

Что ждём от вас

• Python 3.8+: асинхронность, различие asyncio и gevent; конкурентность threads/processes, GIL, I/O-bound vs CPU-bound; типизация (typing/mypy); поддерживаемый, читаемый, тестируемый код.
• Архитектура: Clean Architecture / Hexagonal (Ports & Adapters); проектирование границ, контрактов и зависимостей между слоями.
• Инженерные принципы: SOLID, KISS, YAGNI, DRY, Separation of Concerns, High Cohesion / Low Coupling, Fail Fast, Idempotency by design, Design for testability.
• Linux + Docker/Compose: самостоятельная диагностика — сеть контейнеров, проброс портов, healthcheck'и, чтение логов, переменные окружения.
• GitLab CI/CD и SSH-деплой: пайплайн build -> deploy, умение разобраться, почему упала джоба.
• Django: ORM, middleware, management-команды; готовность к большому legacy-монолиту (аккуратно менять чужой код важнее, чем писать с нуля).
• PostgreSQL: сложные запросы, оптимизация, индексы/планы; версионность данных, временные срезы, SCD2 / time-travel.
• Apache NiFi (production-опыт): flow design, processors, scheduling, backpressure/очереди, гарантии доставки, ретраи, версионирование flows (NiFi Registry).
• DevOps: Docker/Compose, GitLab CI/CD, SSH-деплой; Nginx/Apache + Gunicorn/uWSGI.
• Будет плюсом:
• Apache Spark (PySpark / Spark SQL), Airflow или Dagster, поставки в закрытые контуры (Astra/Alt Linux), практика документации (ADR, drawio), Kerberos/Keycloak, ClickHouse, мониторинг (Prometheus/Grafana/Loki).
• О работе честно:
• Это внедрение и доработка реального enterprise-продукта — NiFi-пайплайны, закрытые контуры без интернета, нативные зависимости, привязанные к ОС. Ищем инженера, которому интересно разбираться, почему сломалось, и проектировать так, чтобы ломалось предсказуемо.
• Ключевые навыки:
• Python · Apache NiFi · Django · PostgreSQL · Linux · Docker · GitLab CI/CD · Nginx/Apache · ETL/ELT · Celery