Data Engineer

Что предстоит делать

Мы разрабатываем AI-решения для реального производства: машинное обучение, компьютерное зрение, аналитические модели и LLM. Ищем опытного Data Engineer с хорошим пониманием машинного обучения, который сможет разобраться в текущей разрозненной инфраструктуре данных, спроектировать целевую архитектуру их хранения, передачи и обработки и выстроить на этой основе надежный процесс подготовки данных для AI-систем. Ты нам подходишь, если: • у тебя законченное высшее образование (техническое, математическое, IT) и ты имеешь коммерческий опыт в инженерии данных от 3 лет; • свободно владеешь Python и SQL, умеешь с нуля проектировать сложные базы данных, определять их структуру, связи и способы хранения данных, писать и оптимизировать сложные запросы; • умеешь самостоятельно разбираться в новых источниках данных: определять состав и смысл данных, оценивать их качество и полноту, находить ограничения и выбирать корректный способ подключения и получения данных; • ориентируешься в статистическом анализе данных и умеешь применять его на практике: проводишь исследовательский анализ, понимаешь распределения случайных величин, выборки, статистические зависимости, выбросы и дисбаланс, формируешь информативные признаки, учитываешь требования алгоритмов к входным данным и умеешь выявлять утечки данных; • понимаешь принципы сетевого обмена между промышленным оборудованием и информационными системами, ориентируешься в контроллерах/ПЛК, датчиках, сетевых интерфейсах и промышленных протоколах передачи данных; • умеешь интегрировать программные системы через API и другие интерфейсы обмена, разбираться в форматах данных, структуре сообщений и логике взаимодействия сервисов; • умеешь писать поддерживаемый код, контролировать качество данных и доводить решение до стабильно работающего и воспроизводимого процесса; • уверенно владеешь Git и умеешь выстраивать корректный процесс версионирования и совместной разработки в сложных проектах.

• анализировать текущую инфраструктуру данных и приводить ее к целевой архитектуре;
• проектировать и развивать базы данных, системы хранения и обмена информацией, ETL/ELT-процессы и инфраструктуру, необходимую для стабильной работы с промышленными данными;
• участвовать в подключении новых источников и промышленного оборудования, настраивать сбор и передачу данных из БД, API, контроллеров, датчиков и камер компьютерного зрения;
• проводить исследовательский анализ данных, формировать признаки и готовить датасеты для ML, CV и LLM;
• обеспечивать стабильную работу инфраструктуры и качество поступающих данных;
• совместно с ML-разработчиками анализировать результаты моделей и улучшать данные и признаки;
• вести необходимую техническую документацию и готовить отчетность по выполненным работам.
• Будет преимуществом:
• опыт подготовки данных для Computer Vision;
• опыт работы с LLM и RAG.

Что предлагаем