Старший инженер данных (Data Engineer)

Что предстоит делать

<p>Мы ищем Senior Data Engineer для присоединения к Implex для работы над долгосрочным проектом по созданию платформы данных для государственного сектора на Ближнем Востоке.</p><p>Эта роль сочетает в себе практическую разработку на PySpark с настройкой и устранением неполадок интеграций данных в GCP Dataproc, S3-совместимом хранилище, PostgreSQL и SAP HANA.</p><p>Вы будете работать с крупномасштабными ETL-конвейерами, исследовать проблемы на уровне Spark и инфраструктуры, а также помогать обеспечивать надежный и безопасный обмен данными между несколькими системами.<br><br><strong>Обязанности</strong></p><ul><li>Разрабатывать, поддерживать и оптимизировать ETL-конвейеры с использованием Apache Spark и PySpark.</li><li>Настраивать и устранять неполадки Spark-нагрузок, работающих на GCP Dataproc.</li><li>Упаковывать и отправлять задания, управлять зависимостями, анализировать логи драйверов и исполнителей.</li><li>Выявлять и решать проблемы производительности Spark, памяти, партиционирования и обработки данных.</li><li>Интегрировать Spark с S3-совместимым хранилищем с помощью коннектора Hadoop S3A.</li><li>Настраивать и устранять неполадки подключения MinIO, доступа к бакетам, TLS-эндпоинтов, подписей и перенаправлений.</li><li>Настраивать пользовательские CA-сертификаты и Java truststore для драйверов и исполнителей Spark.</li><li>Реализовывать масштабируемые JDBC-чтения и записи Spark для PostgreSQL и SAP HANA.</li><li>Создавать надежные процессы инкрементальной загрузки данных, повторных попыток, обратных заполнений и сверки данных.</li><li>Вносить вклад в моделирование данных, эволюцию схем, документацию и практики обеспечения качества данных.</li></ul><p><strong>Обязательные технические навыки</strong></p><ul><li>Разработка Apache Spark / PySpark (Dataproc): поведение драйвера/исполнителя, упаковка/отправка заданий, настройка производительности</li><li>Операции с GCP Dataproc: конфигурация кластера, init actions, управление зависимостями, устранение неполадок через логи/метрики</li><li>Коннектор Hadoop S3A: конфигурация `fs.s3a.*`, доступ через эндпоинт/путь, провайдеры учетных данных, семантика S3</li><li>Интеграция MinIO (S3-совместимого): политики бакетов, TLS-эндпоинты, устранение неполадок с подписями/перенаправлениями</li><li>TLS/SSL и PKI с пользовательским CA: цепочки сертификатов, проверка SAN/имени хоста, диагностика ошибок handshake/PKIX</li><li>Java truststore (JKS/PKCS12) и конфигурация JVM SSL: `keytool`, распространение truststore, настройка JVM-опций драйвера/исполнителя</li><li>Интеграция PostgreSQL: JDBC-чтения/записи Spark в масштабе, основы индексирования/производительности, сопоставление типов данных</li><li>Интеграция SAP HANA: подключение JDBC/ODBC, управление драйверами, calculation views vs таблицы, pushdown/настройка производительности</li><li>Инженерия ETL: концепции инкрементальной загрузки/CDC, идемпотентность, повторные попытки, обратные заполнения, качество данных/сверка</li><li>Интеграция с хранилищами данных: сильный SQL, паттерны staging-to-publish, концепции SCD, стратегии массовой загрузки</li><li>Основы моделирования данных и управления данными: размерное моделирование, эволюция схем, практики документирования/линейности данных</li></ul><p><strong>Желательные навыки (но не обязательные)</strong></p><ul><li>Основы Linux и сетевого взаимодействия: DNS, маршрутизация, основы брандмауэра/LB/прокси; инструменты типа `curl`/`openssl s_client` для проверки</li><li>Безопасная обработка секретов: GCP Secret Manager (или аналог), доступ с минимальными привилегиями, избегание жестко заданных учетных данных</li><li>Знание KAFKA, если мы когда-нибудь снова внедрим KAFKA в архитектуру</li></ul><p><strong>Процесс найма</strong></p><ul><li>Собеседование с HR</li><li>Техническое собеседование с Implex</li><li>Собеседование с PM со стороны клиента</li><li>Собеседование с Dev Lead со стороны клиента</li></ul><p><strong>Что мы предлагаем</strong></p><ul><li>Долгосрочный международный проект</li><li>Возможность работать над национальной цифровой платформой, используемой тысячами пользователей</li><li>Удаленная полная занятость</li><li>Профессиональная и поддерживающая команда</li><li>Сложные технические задачи и значимый продукт с реальным влиянием на мир</li></ul> <div> <a href="https://jobs.dou.ua/companies/implex/vacancies/366027/#reply-btn-id">Откликнуться на вакансию</a> </div>