Инженер данных (Data Engineer)

Что предстоит делать

<p><strong>О проекте:<br></strong>Это передовое программное обеспечение для патентной аналитики, разработанное для трансформации подхода к оценке объектов интеллектуальной собственности. Интегрируя высококачественные наборы патентных данных с научно обоснованными метриками, оно внедряет подход к оценке патентов, основанный на данных, бросая вызов традиционным субъективным методам, широко используемым в отрасли. Платформа позволяет пользователям получать более глубокое понимание качества патентов, технологической значимости и конкурентного позиционирования, обеспечивая более объективную основу для стратегических решений в области инноваций и управления интеллектуальной собственностью.<strong><br></strong></p><p><strong>Технологический стек: </strong>Python, SQL Server, AWS, Spark (Databricks), Kafka.</p><p><strong>Каким требованиям должен соответствовать кандидат:</strong></p><ul><li>Опыт от 4 лет в создании и оптимизации крупномасштабных платформ данных в облачных средах (AWS/Azure)</li><li>Знание Python и SQL для аналитических задач</li><li>Знакомство с современными Lakehouse / стриминговыми архитектурами и инструментами, такими как Databricks, Kafka, Spark</li><li>Способность преобразовывать бизнес-требования в отказоустойчивые масштабируемые решения для работы с данными и наставлять коллег через код-ревью и продвижение лучших практик</li><li>Уровень английского Upper-Intermediate или выше для эффективного общения в команде</li></ul><p><strong>Желательные навыки:</strong></p><ul><li>Опыт работы с поисковыми технологиями (Elasticsearch, Solr) и сложными моделями данных для IP или судебных разбирательств</li><li>Практический опыт работы с внешними источниками патентных данных (DocDB, Espacenet, USPTO)</li><li>Pandas / PySpark для исследовательского анализа и быстрого прототипирования</li><li>Знание Delta Share, версионирования продуктов данных и фреймворков управления данными</li></ul><p><strong>Обязанности:</strong></p><ul><li>Создание и поддержка конвейеров данных для обработки больших объемов структурированных и неструктурированных данных как в пакетном режиме, так и в реальном времени</li><li>Использование паттернов Lakehouse для объединения возможностей озера данных и хранилища данных для ML-фич и аналитики</li><li>Проектирование API со встроенным отслеживанием происхождения данных (lineage) и контролем доступа для использования в различных бизнес-подразделениях</li><li>Применение практик DataOps для автоматизации тестирования, развертывания, мониторинга и управления жизненным циклом</li><li>Продвижение чистого кода, код-ревью и A/B-тестирования для повышения качества продуктов данных</li><li>Тесное взаимодействие с ML-инженерами, разработчиками и экспертами в предметной области для уточнения требований и решения технических задач</li><li>Отслеживание новых инструментов и трендов в области инженерии данных для улучшения производительности, масштабируемости и опыта разработчиков</li></ul><p><b>Программа льгот:</b></p><ul><li>Оплачиваемый отпуск, оплачиваемые больничные, 10 государственных праздников, дополнительные выходные дни</li><li>Образовательный бюджет и поддержка в получении сертификатов/посещении конференций и т.д.</li><li>Уроки английского языка</li></ul><p><b>Комфортные условия работы:</b></p><ul><li>Гибкий график работы</li><li>Программа амортизации или предоставление необходимого оборудования</li></ul> <div> <a href="https://jobs.dou.ua/companies/binary-studio/vacancies/305811/#reply-btn-id">Відгукнутись на вакансію</a> </div>