Старший Staff Software Engineer (Query Execution)

Что предстоит делать

Местоположение: Португалия — Удалённо Станьте частью создания будущего Dremio — это унифицированная платформа lakehouse для self-service аналитики и AI, обслуживающая сотни глобальных предприятий, включая Maersk, Amazon, Regeneron, NetApp и S&P Global. Клиенты полагаются на Dremio для облачных, гибридных и локальных lakehouse-решений, чтобы обеспечить свои сценарии использования data mesh, миграции data warehouse, виртуализации данных и унифицированного доступа к данным. Основываясь на открытых технологиях, включая Apache Iceberg и Apache Arrow, Dremio предоставляет открытую архитектуру lakehouse, обеспечивающую самое быстрое время получения инсайтов и гибкость платформы при меньшей стоимости. Узнайте больше на www.dremio.com. О роли Команда Query Execution в Dremio создаёт runtime, отвечающий за выполнение аналитических запросов в масштабе. Команда находится между планированием запросов и сканированием таблиц, владея системами, которые превращают планы запросов в эффективное и надёжное выполнение. В качестве Senior Staff Software Engineer вы будете работать над операторами запросов, вычислением выражений, управлением памятью, планированием выполнения, runtime-планированием и оптимизацией производительности. Ваша работа будет напрямую влиять на производительность запросов, масштабируемость и надёжность облачной платформы данных Dremio.   Чем вы будете заниматься Создание движка выполнения: проектирование, реализация, тестирование и поддержка операторов запросов, вычисления выражений, планирования выполнения, runtime-планирования и управления ресурсами. Улучшение производительности runtime: оптимизация векторизованной обработки, конкурентности, параллелизма, использования памяти, обмена данными и сброса на диск (disk spilling). Диагностика сложных проблем: исследование проблем корректности и производительности запросов с использованием профилей запросов, инструментов профилирования, телеметрии, бенчмарков, логов и производственных данных. Оптимизация Java и JVM: улучшение использования CPU, поведения аллокации, сборки мусора, поведения потоков и других характеристик runtime. Сотрудничество в рамках всего query engine: работа с командами Query Planner, Datalake, Product, Support и field engineering над сквозными улучшениями запросов. Использование инструментов разработки с поддержкой AI: применение AI-инструментов для понимания кода, отладки, генерации тестов, документации и анализа инцидентов. Применение инженерного суждения: проверка сгенерированного AI кода и рекомендаций через ревью, тестирование, бенчмаркинг и инженерное суждение. Повышение инженерной планки: участие в дизайн-ревью и код-ревью, вклад в техническое направление и наставничество других инженеров.   Что мы ищем Опыт в разработке ПО: 5+ лет разработки production-ПО, предпочтительно в системах баз данных, выполнении запросов, распределённых системах или смежных областях. Навыки программирования: сильные навыки Java; опыт с C++ будет плюсом. Фундаментальные знания в computer science: прочная база в структурах данных, алгоритмах, конкурентности, многопоточном программировании и асинхронном программировании. Знания баз данных и распределённых систем: понимание внутреннего устройства баз данных, обработки запросов, распределённого выполнения и оптимизации производительности. Опыт performance engineering: опыт профилирования и оптимизации CPU, памяти, сборки мусора, поведения потоков или других характеристик runtime. Способность решать проблемы: умение решать неоднозначные технические задачи и эффективно работать на стыке команд. Инженерное суждение: способность оценивать компромиссы, строго проверять решения и принимать обоснованные решения при работе с незнакомыми или созданными с помощью AI реализациями. Коммуникация и ответственность: сильные коммуникативные навыки, чувство ответственности и приверженность поставке высококачественного ПО.   Бонусные баллы, если у вас есть Query engines: распределённые query engines, движки баз данных или крупномасштабные системы обработки данных. Техники выполнения: векторизованное выполнение, операторы запросов, вычисление выражений, генерация кода или оптимизация runtime. Runtime-системы: профилирование JVM, управление памятью, кэширование, сетевые взаимодействия, обмен данными, планирование выполнения или сброс на диск. Платформы данных: Apache Arrow, Apache Iceberg, Parquet, Avro, Spark, Hadoop или облачные объектные хранилища. Open source: вклад в open-source проекты. Что мы ценим В Dremio мы придерживаемся высоких стандартов в отношении Людей, Мышления и Действий. Наши Gnarlies (так мы называем наших сотрудников) общаются ясно, несут ответственность и уважительно относятся друг к другу. Мы смотрим в лицо суровым фактам и фокусируемся на результатах, действуя с чувством срочности и выстраивая «маховик». Люди, которые любят включаться в работу и задавать импульс, будут процветать в нашей #GnarlyLife. Dremio — работодатель с равными возможностями, поддерживающий разнообразие рабочей силы. Мы не дискриминируем по признаку расы, религии, цвета кожи, национального происхождения, гендерной идентичности, сексуальной ориентации, возраста, семейного положения, статуса защищённого ветерана, статуса инвалидности или любого другого незаконного фактора. Dremio обязуется предоставлять любые необходимые приспособления для людей с инвалидностью в рамках нашего процесса подачи заявок и собеседований. Чтобы запросить приспособление в связи с инвалидностью, пожалуйста, сообщите вашему рекрутеру. Dremio имеет политики для защиты персональной информации, которую сотрудники и кандидаты раскрывают нам. Пожалуйста, нажмите здесь, чтобы ознакомиться с уведомлением о конфиденциальности.  Важное уведомление о безопасности для кандидатов В Dremio мы поддерживаем доверие и прозрачность как первостепенные ценности во всех наших взаимодействиях с клиентами, партнёрами, сотрудниками и широкой общественностью. Мы стали целью лиц, создающих поддельные домены, похожие на наши, чтобы обманывать потенциальных клиентов и кандидатов. Обратите внимание, что все официальные сообщения от нас будут с домена @dremio.com. Если вы подозреваете, что стали целью мошенничества, крайне важно сообщить об инциденте в местные правоохранительные органы. Для получения дополнительной информации об этом типе мошенничества, пожалуйста, обратитесь к официальному заявлению Dremio здесь. Dremio не несёт ответственности за любые комиссии, связанные с невостребованными резюме, и не будет выплачивать комиссии любому стороннему агентству или компании, не имеющим подписанного соглашения с Компанией. Чтобы подать заявку: https://weworkremotely.com/remote-jobs/dremio-senior-staff-software-engineer-query-execution