Отличия CedrusData Engine от Trino#
CedrusData Engine является коммерческим продуктом, который основан на open-source технологии Trino, и включает дополнительный функционал безопасности, управления и мониторинга, улучшения производительности, веб-интерфейс для запуска запросов, профессиональную документацию и поддержку.
Ниже приведено описание дополнительного функционала, который доступен только в CedrusData Engine.
Примечание
Для работы с CedrusData Engine вам потребуется лицензия. Пожалуйста, ознакомьтесь с документом Управление лицензией CedrusData.
Коннекторы и интеграции#
Название |
Описание |
|---|---|
Коннектор к аналитической СУБД Greenplum с многочисленными оптимизациями для ускорения операций чтения и записи данных. |
|
Ускорение запросов за счет переноса (pushdown) сложных операций на сторону Greenplum. |
|
Greenplum коннектор: Параллельная запись данных через протокол GPFDIST |
Ускорение записи в Greenplum за счет прямой пересылки данных в сегменты через протокол GPFDIST. |
Greenplum коннектор: Параллельное чтение данных через протокол GPFDIST |
Ускорение чтения из Greenplum за счет прямой пересылки данных с сегментов через протокол GPFDIST. |
Ускорение чтения из Greenplum за счет выполнения нескольких параллельных запросов к различным сегментам посредством JDBC-драйвера. |
|
Коннектор к аналитической СУБД Teradata. |
|
Ускорение чтения из Teradata за счет выполнения нескольких параллельных запросов посредством JDBC-драйвера. |
|
Коннектор к аналитической СУБД Vertica. |
|
Коннектор для работы с популярными форматами файлов (csv, parquet, orc, avro, excel, и пр.). |
|
Возможность подключения к CedrusData Engine по протоколу Arrow Flight SQL, в том числе через open-source ODBC-драйвера. |
Производительность#
Название |
Описание |
|---|---|
Автоматическое переписывание запросов на материализованные представления |
Кратно повышает производительность и уменьшает потребление ресурсов за счет переиспользования ранее выполненных вычислений. |
Возможность удаления ненужных операторов Join в сложных запросах. Ускоряет запросы, характерные для BI-инструментов, а также для методологий Anchor Modeling и Data Vault. |
|
Ускорение повторяющихся запросов за счет кэширования результатов на диске или в оперативной памяти. |
|
Ускорение чтения из Hive за счет их кэширования на узлах CedrusData Engine. |
|
Ускорение чтения из Iceberg за счет их кэширования на узлах CedrusData Engine. |
|
Возможность управлять материализацией CTE (common table expressions) в рамках одного запроса и между запросами (при использовании CedrusData Catalog) |
|
Автоматически оптимизирует и упрощает работу OUTER JOIN, преобразуя в более простые типы JOIN. |
|
Автоматически определяет оптимальный порядок выполнения операторов Join на основе алгоритма DPHyp. |
|
Cost-based оптимизатор, который позволяет находить более оптимальные планы запросов, требующие передачи меньшего количества данных между узлами. |
|
Ускорение запросов за счет переноса (pushdown) сложных операций на сторону ClickHouse. |
|
Пул соединений для коннекторов на основе JDBC |
Кэширование соединений к JDBC источникам для ускорения доступа к ним: ClickHouse, Greenplum, MariaDB, MySQL, PostgreSQL, SQL Server, Teradata. Vertica. |
Ускорение запросов к партиционированным таблицам Hive путем выбора более оптимального плана запроса. |
|
Iceberg коннектор: Оптимизация запросов к partitioned таблицам |
Ускорение запросов к партиционированным таблицам Iceberg путем выбора более оптимального плана запроса. |
Безопасность#
Название |
Описание |
|---|---|
Возможность получения групп пользователя из LDAP. |
|
Возможность аутентификации в популярных JDBC-коннекторах от имени текущего пользователя CedrusData Engine. |
Управление#
Название |
Описание |
|---|---|
Web-интерфейс для запуска SQL-запросов и управления политиками доступа (File-based system access control). |
|
Возможность выполнения множественных DML команд к одной таблице в рамках одной транзакции (параметр |
|
Кумулятивная статистика чтения данных из удаленных таблиц. |
|
Кумулятивная статистика использования ресурсов кластера. |
|
Интерактивная визуализация планов запросов для удобного и эффективного анализа производительности. |
|
Возможность сохранения истории выполнения запросов между запусками координатора. |
|
Динамические параметры сессии. |
Возможность передачи в запрос или представление произвольных параметров сессии (см. |
Промышленная поддержка динамического управления каталогами. |
|
Управление точностью возвращаемого результата для операций с DECIMAL. |
|
Расширенный атрибутный состав и набор событий аудита. |
Каталог#
При использовании CedrusData Catalog совместно с CedrusData Engine, вам становятся доступны дополнительные возможности.
Название |
Описание |
|---|---|
Возможность применения глобального контроля доступа к объектам Iceberg-каталога по модели RBAC (Role-based Access Control), применяемого к любым движкам, подключенным к CedrusData Catalog (Flink, Spark, и пр.). |
|
Управление и автоматический запуск обслуживания таблиц Iceberg (компакция/оптимизация). |
|
Возможность указания глобальной временной метки на уровне сессии CedrusData Engine для получения данных на указанный момент времени. |
|
Возможность запуска каталога в Embedded-режиме (CedrusData Catalog запускается как отдельный сервис координатора CedrusData Engine). |
|
Переиспользование материализаций CTE между запросами CedrusData Engine. |
|
Позволяет движкам передавать ключи доступа к S3, которые будут использованы каталогом при выполнении операций над объектами Iceberg. |