Старший Data Engineer

Что предстоит делать

<p><strong>Gensoft нанимает</strong> практикующего Senior Data Engineer в команду AI-powered поисково-мэтчинговой платформы. Ваш фокус будет на data pipelines, которые питают production-поиск: сделать ingestion быстрым, надёжным и простым в эксплуатации, а также обеспечивать чистоту и согласованность данных, доходящих до слоя матчинга.</p><p><strong>Условия</strong></p><ul><li>Full-time контракт, от 6 месяцев, с высокой вероятностью продления</li><li>Полностью удалённо</li><li>Понедельник–пятница, 8 часов в день, с пересечением по времени с основными рабочими часами команды</li><li>Старт: как можно скорее</li></ul><p><strong>Технологический стек</strong> <br>Go (оркестрация), PostgreSQL с pgvector, embedding-модели, обслуживаемые через Amazon Bedrock.</p><p><strong>Чем вы будете заниматься</strong></p><ul><li>Принять текущий ingestion-поток и задокументировать, как он работает: источники, трансформации, слабые места и сценарии отказов</li><li>Автоматизировать ingestion, валидацию, дедупликацию и инкрементальные обновления, а также превратить подключение новых источников данных в повторяемый процесс</li><li>Построить безопасные механизмы восстановления (retries, checkpoints, replay и backfill, quarantine), чтобы ни одни данные не терялись и не дублировались</li><li>Отслеживать количество записей, метаданные, идентификаторы источников и data lineage; выявлять изменения схемы и запускать проверки качества</li><li>Поддерживать интерфейсы сервиса матчинга и участвовать в улучшении embeddings, индексации и качества матчинга</li><li>Настроить мониторинг и алертинг совместно с DevOps (свежесть данных, сбои, пропускная способность, задержки, стоимость)</li><li>Поддерживать тесты, практики деплоя и runbooks в актуальном состоянии, чтобы систему можно было эксплуатировать и восстанавливать без вас</li><li>Применять согласованные правила по согласию на обработку данных, доступу, хранению и удалению, а также заблаговременно поднимать открытые вопросы</li><li>Тесно работать с Product, Engineering, DevOps и ML-специалистами, держать команду в курсе прогресса</li></ul><p><strong>Что мы ожидаем</strong></p><ul><li>Подтверждённый опыт владения production data pipelines, включая отладку и восстановление после сбоев</li><li>Сильные навыки SQL и моделирования данных в PostgreSQL</li><li>Практический опыт работы с Go для оркестрации и миграций</li><li>Твёрдое понимание API, batch- и async-обработки, эволюции схем, метаданных и lineage</li><li>Опыт идемпотентной обработки, сверки данных (reconciliation) и безопасных повторных запусков</li><li>Практическая работа с vector search и embedding-пайплайнами в production (поисковые, мэтчинговые или ML-продукты)</li><li>Способность прослеживать проблемы качества по всей цепочке: входные данные, embeddings, индексы и результаты на выходе</li><li>Опыт работы с облаком, автоматизированное тестирование, code review и дисциплинированный деплой</li><li>Мониторинг, алертинг, runbooks, privacy-aware моделирование данных и контроль доступа</li></ul><p><strong>Будет плюсом</strong></p><ul><li>Прямой опыт работы с pgvector и Amazon Bedrock</li><li>Опыт интеграции и оценки embedding-моделей (например, VoyageAI)</li><li>Python для обработки данных</li><li>Entity resolution и релевантность поиска</li><li>Опыт в HR tech или с данными рекрутинга</li></ul><p><strong>Процесс найма</strong> <br>Рассмотрение CV, техническое интервью, live coding session, финальное интервью.</p> <div> <a href="https://jobs.dou.ua/companies/gensoft/vacancies/379018/#reply-btn-id">Откликнуться на вакансию</a> </div>