Инженер данных

НИИ «ВОСХОД» — мультисервисный партнер государства в области информационных технологий с 1972 года. Мы создаем инновационные ИТ-решения для органов власти, внедряем и развиваем новые форматы эффективного взаимодействия между государством и обществом. Институт специализируется на разработке и эксплуатации информационных систем, услугах в области информационной безопасности (в том числе создании средств криптографической защиты информации), а также разработке и развитии ИТ-архитектуры современных информационных систем и цифровых платформенных решений. НИИ «ВОСХОД» включен в реестр аккредитованных ИТ-компаний и организаций оборонно-промышленного комплекса. Ваши будущие задачи: • Участие в полном жизненном цикле данных: от интеграции источников и обеспечения качества данных до организации удобного доступа для аналитиков и data scientist-ов. • Проектирование, автоматизация и техническая эксплуатация отказоустойчивых и масштабируемых вычислительных процессов (пайплайнов) для сбора, проверки качества, нормализации, реструктуризации, обогащения больших данных (в том числе геоданных). • Развитие и оптимизация инфраструктуры данных компании: DWH, Data Lake, систем мониторинга и оркестрации. • Внедрение лучших практик инженерии данных (тестирование пайплайнов, мониторинг, версионирование, документирование). • Техническое лидерство и менторство в команде инженерии данных. • Взаимодействие со смежными командами (аналитики, ML-инженеры, разработчики) для понимания потребностей в данных и реализации эффективных решений. Для нас важно: • Опыт разработки с использованием: • Python (библиотеки для работы с геоданными, для, анализа данных); • S3 (например, MinIO); • ClickHouse; • PostgreSQL, PL/pgSQL; • PostGIS; • Parquet (и друге популярные форматы: Iceberg, Avro, ORC, CSV); • Spark (API на Scala, PySpark); • Dagster (и другие популярные оркестраторы: AirFlow); • SQL; • ОС Linux; • Будет преимуществом: • Scala; • Shapefile; • JupyterLab (Jupyter Notebook); • Java; • Prometheus; • Graphana; • ELK; • Общее знакомство с: PostgREST;  Kafka;  Docker;  Kubernetes;  Istio;  Hadoop;  HashiCorp Terraform;  RedHat Ansible  Sonatype Nexus;  Go;  JavaScript. • Опыт развития систем обработки больших данных (сбор, нормализация, реструктуризация):  Анализ потребностей и проектирование архитектуры ПО. Знакомство с DAMA DMBOK, BPMN, микросервисной архитектурой, REST API, Open API;  Спецификация требований к ПО и данным, разработка логического дизайна ПО. Знакомство с C4, UML, ERD;  Разработка физического дизайна и кода ПО для процессов обработки данных (пайплайнов);  Отладка кода, участие в функциональном, нагрузочном, приёмочном тестированиях;  Оптимизация унаследованного кода;  Практика CI/CD; • Опыт технической эксплуатации систем обработки больших данных:  Развёртывание и настройка процессов обработки данных;  Мониторинг работы процессов обработки данных  Устранение сбоев в работе процессов обработки данных; • Опыт обеспечения качества данных:  Разработка и тестирование процедур проверки качества данных;  Мониторинг исполнения и результатов процедур проверки качества данных;  Участие в устранении инцидентов, связанных с качеством данных. • Опыт документирования.