CedrusData 431-3 (16 января 2024)#

CedrusData 431-3 основан на Trino 431 и содержит весь функционал данной версии.

Общее#

  • Добавлена системная таблица system.cedrusdata.stats_table_usage, которая отображает количество данных, прочитанных из таблиц удаленных источников. Для включения сбора статистик необходимо добавить параметр конфигурации cedrusdata.stats.table-usage.enabled=true. Документация: cedrusdata.stats_table_usage.

  • Добавлена базовая инфраструктура для поддержки протокола Arrow Flight SQL. Конечные пользователи получат возможность работы с CedrusData через протокол Arrow Flight SQL в одной из следующих версий продукта.

  • Имя процедуры system.runtime.clear_data_cache изменено на system.cedrusdata.clear_data_cache.

  • Имя процедуры system.runtime.cedrusdata_refresh_query_external_history изменено на system.cedrusdata.refresh_query_external_history.

  • Имя таблицы system.runtime.cedrusdata_license изменено на system.cedrusdata.license.

  • Имя таблицы system.runtime.cedrusdata_query_json изменено на system.cedrusdata.query_json.

Hive коннектор#

  • Улучшена производительность локального дискового кэша данных для формата Parquet за счет кэширования футеров, уменьшения количества чтений статуса файла и оптимизации структуры хранения файлов на диске.

  • Функционал кэша метаданных Parquet полностью замещен функционалом локального дискового кэша. Параметры конфигурации cedrusdata.parquet.metadata-cache.enabled, cedrusdata.parquet.metadata-cache.max-size и cedrusdata.parquet.metadata-cache.ttl, а также свойство сессии cedrusdata_parquet_metadata_cache_enabled более не используются.

  • Улучшена производительность локального дискового кэша данных для формата ORC за счет кэширования футеров. Кэш ORC по-прежнему находится в экспериментальном состоянии.

  • Исправлена ошибка, при которой локальный дисковый кэш с файлами ORC не очищался при изменении предиката партиции.

Iceberg коннектор#

  • Улучшена производительность локального дискового кэша данных для формата Parquet за уменьшения количества чтений статуса файла и оптимизации структуры хранения файлов на диске.

Teradata коннектор#

  • Добавлена поддержка типа данных TIMESTAMP WITH TIME ZONE.

  • Добавлена поддержка типа данных VARBINARY.

  • Добавлена поддержка pushdown агрегатных функций corr, regr_intercept, regr_slope.

  • Улучшена поддержка pushdown типа данных VARCHAR. Параметр конфигурации teradata.not-case-specific-to-lower-case и свойство сессии not_case_specific_to_lower_case более не используются.

  • Улучшена поддержка pushdown типа данных TIME. Параметр конфигурации teradata.time-pushdown-enabled и свойство сессии time_pushdown_enabled более не используются.

  • Имя параметра конфигурации teradata.scan-parallelism изменено на teradata.max-scan-parallelism. Имя свойства сессии scan_parallelism изменено на max_scan_parallelism.

Vertica коннектор#