Старший Java разработчик (Big Data)

Что предстоит делать

<p><strong>Описание проекта:</strong><a href="https://luxhire.luxoft.com/hr/browse/HR-17268088" target="_blank"></a>Платформа управления кросс-активами нового поколения для предоставления глобально согласованных данных и инновационных инструментов, поддерживающих бизнес-стратегию для клиентов торговли/продаж. Платформа построена на архитектуре больших данных, обладает высокой масштабируемостью и готова к работе в облаке. Она обеспечивает аналитику мирового уровня, клиентскую отчетность, соответствие нормативным требованиям, мониторинг, надзорную отчетность и решения для Data Science (data flame). Технологический стек проекта: Apache Spark, Hive, Java, Scala, Spring, SQL, Kafka, Hadoop.<br><br>Мы ищем опытного Senior Java Developer с опытом работы с большими данными (Hadoop, Spark), способного разработать дизайн и создать фреймворк для предоставления и распределения данных о рисках широкому кругу потребителей, включая Finance, Front office Risk Systems, Trading Systems, Back office и Account systems. Это должно охватывать доступ с низкой задержкой и потоковую передачу, механизмы Push/Pull в зависимости от типа потребителей.<br><br>Роль Senior Java Developer включает работу с сильными командами разработчиков (3 Senior Java Developer), возможность работать с большими данными, углубляя знания в этой области, используя ресурсы международного банка.</p><p><strong>Обязанности:</strong></p><ul><li>Проектирование и создание фреймворков для приема/моделирования сложных данных о рисках</li><li>Разработка кэширования с низкой задержкой для обслуживания систем управления рисками Front office</li></ul><p><strong>Обязательные требования:</strong></p><ul><li>Не менее 5 лет опыта в разработке программного обеспечения, включая профессиональный опыт бэкенд-разработки;</li><li>Глубокие знания языка программирования Java</li><li>Понимание фреймворков внедрения зависимостей Java, предпочтительно Spring</li><li>Сильные навыки SQL</li><li>1+ год разработки больших данных с обширным практическим опытом программирования на Spark</li><li>Глубокие знания технологий больших данных, таких как Hadoop (Hive) и Spark</li><li>Понимание управления данными</li><li>Знакомство с алгоритмами и паттернами проектирования</li><li>Понимание распределенных систем.</li><li>Понимание CI/CD workflow.</li><li>Знакомство с окружением Linux, включая навыки написания скриптов</li></ul><p><strong>Желательные навыки:</strong></p><ul><li>Databricks и облачные сервисы, предпочтительно aws/gcp</li><li>Опыт работы с in-memory базами данных и кэшированием</li><li>Моделирование данных: fact, dimension tables, SCD</li><li>Понимание открытых табличных форматов: iceberg, delta lake, hudi</li><li>Понимание открытых файловых форматов: parquet, orc</li><li>Инструменты оркестрации задач, такие как Autosys или Airflow</li><li>Финансовый опыт (где это возможно)</li></ul><p><strong>Языки:</strong></p><ul><li>Английский: B2 Upper Intermediate</li></ul> <div> <a href="https://jobs.dou.ua/companies/luxoft/vacancies/366580/#reply-btn-id">Откликнуться на вакансию</a> </div>