Инженер по интеграции (Apache NiFi / Kafka)

Что предстоит делать

• Обеспечение интеграционного взаимодействия между всеми компонентами системы «ИНКА» (бэкенд, фронтенд, внешние сервисы) с использованием платформы «ИНКА:Интеграция» (на базе Apache NiFi) в качестве ESB-шины.
• Настройка, разработка и сопровождение потоков данных (data flows) в «ИНКА:Интеграция»: прием данных из Apache Kafka, трансформация, обогащение, маршрутизация и доставка в целевые системы (БД, S3, REST API, другие очереди).
• Обеспечение надежной и отказоустойчивой доставки сообщений, мониторинг и логирование потоков, настройка обработки ошибок и повторных попыток.
• Взаимодействие с командой бэкенда (C#) и фронтенда (Angular) для согласования форматов данных, схем (Avro/JSON/XML) и SLA по доставке.
• Оптимизация производительности интеграционных потоков, настройка параллелизма, буферизации, работы с памятью.
• Разработка пользовательских процессоров (custom processors) на Java или Python при необходимости.
• Участие в код-ревью конфигураций и скриптов, поддержка документации по интеграционным сценариям.
• Сопровождение и исправление существующих интеграционных потоков, разработанных как силами команды, так и сторонними подрядчиками.

Что ждём от вас

• Основные технологии:
• Платформа «ИНКА:Интеграция» (Apache NiFi): создание и управление процессами, работа с процессорами, контроллеры сервисов, шаблоны, переменные, управление версиями, мониторинг через UI и API.
• Apache Kafka: Producers/Consumers, управление группами, партиционирование, работа со смещениями, настройка дедлайнов, использование Kafka Connect (желательно).
• Форматы данных: JSON, XML, Avro, Parquet, CSV; работа со схемами (Schema Registry).
• Протоколы: REST, SOAP, gRPC (желательно).
• Backend & Базы данных:
• PostgreSQL: сложные SQL-запросы, операции вставки/обновления, работа с транзакциями, оптимизация.
• S3 (объектное хранилище): чтение/запись, управление большими данными.
• Redis (кэширование) – желательно.
• Языки и инструменты:
• Java (основной для разработки процессоров в NiFi) и Python (для скриптового процессора ExecuteScript).
• SQL (обязательно).
• GitLab (CI/CD для развертывания потоков, управление конфигурациями).
• Docker, Kubernetes (для развертывания NiFi и Kafka в контейнерах).
• Дополнительные навыки:
• Архитектура: микросервисная и монолитная, понимание паттернов интеграции (каналы, маршрутизаторы, трансформаторы).
• Опыт работы с брокерами сообщений: Kafka (обязательно), RabbitMQ (желательно).
• Мониторинг и логирование: ELK/EFK, Prometheus/Grafana (желательно).
• Опыт работы:
• Разработка и сопровождение ETL/ESB-решений на основе Apache NiFi и аналогичных .
• Настройка высоконагруженных потоков обработки данных через Kafka.
• Оптимизация производительности интеграционных сценариев, устранение узких мест.
• Интеграция с внешними REST API, базами данных, файловыми хранилищами.
• Личные качества:
• Умение объяснять сложное просто: способность доносить технические нюансы (например, ошибки AI-моделей или сбои интеграции) .
• Активное слушание: понимание сути проблемы пользователя, даже если он описывает её нечетко.
• Системный подход: умение выявлять корневые причины сбоев, связывая фронтенд-ошибки, бэкенд-логи и данные AI-моделей.
• Креативность: поиск нестандартных решений при ограниченных ресурсах (например, временные обходные пути для критичных сбоев).
• Критическое мышление: оценка достоверности данных и их влияния на производственные процессы.
• Стрессоустойчивость: сохранение спокойствия при авариях на производстве или срочных запросах.
• Коллаборация: координация с разработчиками, инженерами и производственными отделами.
• Конструктивная обратная связь: предложение улучшений для UI/UX или логики на основе обращений пользователей.
• Гибкость: готовность подстраиваться под изменения в процессах (например, внедрение новых модулей).

Что предлагаем