Старший Data Engineer

Что предстоит делать

<p><strong>О компании</strong> <br>Binariks ищет высокомотивированного и квалифицированного <strong>Senior Data Engineer.</strong> <br>О проекте: это платформа для приема и обработки данных (Ingestion Platform).<br>Кандидат присоединится к команде, которая строит платформу приема данных для юридической / eDiscovery сферы — систему, которая принимает большие объемы как неструктурированных документов, так и структурированных записей из множества различных клиентских систем и превращает их в единую чистую, доступную для поиска модель (нормализует их в каноническую модель данных для последующего поиска и анализа).<br><br><strong>Что мы ищем</strong></p><ul><li>7+ лет практического опыта в области инженерии данных</li><li>Опыт работы с Python. Уверенное владение на продакшн-уровне, включая тестирование, упаковку и типизацию в общей командной кодовой базе</li><li>Проектирование и создание конвейеров данных, которые остаются надежными при росте объемов данных и количества источников</li><li>Практический продакшн-опыт работы с инструментами горизонтального масштабирования обработки, такими как Apache Spark (PySpark)</li><li>Проектирование моделей данных: проектирование схем, нормализация и развитие схемы без нарушения работы下游 потребителей</li><li>Уверенное знание SQL и основ реляционных баз данных</li><li>Развертывание и эксплуатация контейнеризированных приложений на Kubernetes, включая управление лимитами ресурсов и конфигурацией</li><li>Оркестрация рабочих процессов с помощью Airflow или другого DAG-планировщика, включая повторы, обратные заполнения (backfills) и зависимости</li><li>Стек наблюдаемости: Prometheus, Grafana и Alertmanager, применяемый к мониторингу здоровья конвейеров и свежести данных</li><li>Построение и управление поисковыми индексами, включая проектирование маппингов и переиндексацию</li><li>Интеграция с Fivetran или аналогичными управляемыми инструментами коннекторов для приема данных из сторонних источников</li><li>Blob или data lake хранилища как неизменяемое хранилище сырых данных, включая секционирование и правила жизненного цикла</li></ul><p><strong>Будет плюсом</strong></p><ul><li>Векторные индексы и хранилища эмбеддингов, особенно pgvector, для семантического поиска по документам</li><li>Опыт в домене eDiscovery, включая понимание того, как рабочие процессы юридического ревью формируют требования к приему данных</li><li>Инструменты обработки документов и извлечения текста в больших объемах, такие как Nuix или Aspose</li><li>Relativity, включая его модель данных, форматы импорта и экспорта, и API</li><li>Цепочка хранения (Chain-of-custody)</li></ul><p><strong>Ваши обязанности</strong></p><ul><li>Проектирование и создание конвейеров приема и ETL, которые остаются надежными при росте объемов данных и количества источников</li><li>Развитие канонической модели данных: проектирование схем, нормализация и сопоставление «грязных» исходных систем с общей внутренней моделью — включая поля и объекты, которые не сопоставляются чисто</li><li>Обеспечение аудируемости сопоставления, чтобы всегда можно было проследить, как исходная запись стала канонической</li><li>Реализация инкрементального приема, который поглощает изменения вышестоящих схем без полной повторной обработки</li><li>Построение и поддержка поисковых индексов, от которых зависит глобальный поиск платформы — проектирование маппингов, стратегия переиндексации</li><li>Превращение конвейера, управляемого разработчиками, в самообслуживаемую, планируемую и контролируемую систему с надлежащими оповещениями о состоянии конвейеров и свежести данных</li><li>Работа с контентно-адресуемым хранилищем и дедупликацией принимаемого контента на основе хэшей</li></ul><p><b>Что мы предоставляем нашим сотрудникам</b></p><ul><li>18 рабочих дней оплачиваемого отпуска</li><li>10 рабочих дней больничного в год (5 дней оплачиваются в размере 100% и 5 дней в размере 75% вашей средней месячной зарплаты)</li><li>Гибкий график работы</li><li>Дополнительные выходные дни по особым случаям, выходные в национальные праздники</li><li>Конкурентоспособная и достойная зарплата, основанная на оценке эффективности / оценке знаний</li><li>Возможность делиться и получать знания на регулярных технических лекциях</li><li>Дружелюбная и профессиональная команда</li><li>Инновационные проекты с передовыми технологиями</li><li>Удаленная работа</li><li>Бухгалтерское обслуживание</li></ul> <div> <a href="https://jobs.dou.ua/companies/binariks/vacancies/369836/#reply-btn-id">Откликнуться на вакансию</a> </div>