Kyuubi выступает в роли распределенного шлюза, предоставляющего пользователям SQL-интерфейс для взаимодействия с различными вычислительными движками, включая Apache Spark. Kyuubi решает ключевые проблемы, связанные с производительностью и удобством использования Spark SQL в корпоративных условиях, такие как плохая изоляция ресурсов, ограниченная информационная безопасность и отсутствие высокой доступности.
Архитектура Kyuubi обеспечивает мультитенантность за счет создания отдельных экземпляров Spark для каждого пользователя, что позволяет им адаптировать настройки под свои задачи. Это достигается за счёт изоляции сессий, при которой каждый пользователь может управлять ресурсами, выделяя память и количество исполнителей. Kyuubi поддерживает гибкую настройку конфигураций, позволяя определять стандартные параметры для пользователей и групп, а также переопределять их на различных уровнях, контролируя таким образом потребление ресурсов.
Интеграция Kyuubi с Apache Ranger предоставляет возможность внедрения детализированных политик безопасности, которые ограничивают доступ на уровне строк и столбцов данных. Kyuubi также поддерживает расширения на стороне сервера и движка, что позволяет настраивать аутентификацию, авторизацию, мониторинг и добавлять кастомные функции.
Kyuubi предлагает удобные интерфейсы взаимодействия, включая JDBC, ODBC, RESTful API и клиент командной строки Kyuubi CTL для оркестрации задач. Также поддерживается выполнение кода на Scala и Python прямо в SQL-клиентах, расширяя возможности для специалистов по анализу данных.
Изображение носит иллюстративный характер
Архитектура Kyuubi обеспечивает мультитенантность за счет создания отдельных экземпляров Spark для каждого пользователя, что позволяет им адаптировать настройки под свои задачи. Это достигается за счёт изоляции сессий, при которой каждый пользователь может управлять ресурсами, выделяя память и количество исполнителей. Kyuubi поддерживает гибкую настройку конфигураций, позволяя определять стандартные параметры для пользователей и групп, а также переопределять их на различных уровнях, контролируя таким образом потребление ресурсов.
Интеграция Kyuubi с Apache Ranger предоставляет возможность внедрения детализированных политик безопасности, которые ограничивают доступ на уровне строк и столбцов данных. Kyuubi также поддерживает расширения на стороне сервера и движка, что позволяет настраивать аутентификацию, авторизацию, мониторинг и добавлять кастомные функции.
Kyuubi предлагает удобные интерфейсы взаимодействия, включая JDBC, ODBC, RESTful API и клиент командной строки Kyuubi CTL для оркестрации задач. Также поддерживается выполнение кода на Scala и Python прямо в SQL-клиентах, расширяя возможности для специалистов по анализу данных.
