System коннектор#

System коннектор предоставляет информацию о кластере CedrusData.

Конфигурация#

Коннектор не требует конфигурации. Информация о кластере доступна по умолчанию в каталоге system.

Работа с System коннектором#

Получить список доступных схем:

SHOW SCHEMAS FROM system;

Получить список доступных таблиц для одной из схем:

SHOW TABLES FROM system.runtime;

Получить список узлов в кластере CedrusData:

SELECT * FROM system.runtime.nodes;

Остановить выполнение запроса по query ID:

CALL system.runtime.kill_query(query_id => '20151207_215727_00146_tx3nr', message => 'Using too many resources');

Таблицы System коннектора#

metadata.catalogs#

Содержит список доступных каталогов.

metadata.schema_properties#

Содержит список параметров, которые могут быть использованы при создании новой схемы.

metadata.table_properties#

Содержит список параметров, которые могут быть использованы при создании новой таблицы.

metadata.materialized_views#

Содержит информацию о материализованных представлениях.

Колонка

Описание

catalog_name

Имя каталога, которому принадлежит данное материализованное представление.

schema_name

Имя схемы в каталоге catalog_name, которой принадлежит данное материализованное представление.

name

Имя материализованного представления.

storage_catalog

Имя каталога, которому принадлежит таблица, хранящая данные материализованного представления.

storage_schema

Имя схемы в каталоге storage_catalog, которой принадлежит таблица, хранящая данные материализованного представления.

storage_table

Имя таблицы, которая хранит данные материализованного представления.

freshness

Актуальность данных в storage_table. Возможные состояния: FRESH, STALE, UNKNOWN. Если данные находятся в состоянии STALE, запрос будет перенаправлен в оригинальный источник данных. В противном случае данные будут прочитаны из материализованного представления.

owner

Имя пользователя, который создал материализованное представление.

comment

Комментарий.

definition

SQL-запрос, использованный для построения материализованного представления.

metadata.materialized_view_properties#

Содержит список параметров, которые могут быть использованы при создании нового материализованного представления.

metadata.table_comments#

Содержит комментарии к таблицам.

runtime.nodes#

Возвращает информацию об узлах кластера CedrusData.

runtime.optimizer_rule_stats#

Содержит статистики вызова правил оптимизации при планировании запроса.

runtime.queries#

Возвращает информацию о текущих и исполненных SQL-запросах в кластере CedrusData, включая имя пользователя, запустившего запрос, а также информацию о профиле производительности запроса.

runtime.tasks#

Возвращает информацию об объектах task, использованных при выполнении запроса, включая идентификатор запроса и количество обработанных данных.

runtime.transactions#

Возвращает информацию о текущих транзакциях, включая время создания, параметры транзакции, и названия вовлеченных каталогов.

cedrusdata.license#

Содержит информацию о лицензии CedrusData в виде пар ключ-значение.

Колонка

Описание

name

Название свойства. Допустимые значения: type - тип лицензии (EVALUATION, DEVELOPMENT, FULL); owner - владелец лицензии; startDate - дата начала срока действия лицензии, endDate - дата окончания срока действия лицензии (не задано для EVALUATION); gracePeriodDays - длительность grace period в днях.

value

Значение свойства.

cedrusdata.stats_table_usage#

Отображает кумулятивную статистику о количестве данных, прочитанных из отдельных таблиц.

По умолчанию сбор статистики отключен. Для включения необходимо добавить параметр cedrusdata.stats.table-usage.enabled=true в файл config.properties. См. также дополнительные параметры конфигурации статистик кластера.

Процедура system.cedrusdata.clear_stats_table_usage очищает таблицу cedrusdata.stats_table_usage. Процедура system.cedrusdata.clear_stats очищает все таблицы cedrusdata.stats_*.

Колонка

Описание

catalog_name

Имя каталога.

schema_name

Имя схемы.

table_name

Имя таблицы.

physical_input_bytes

Количество прочитанных данных таблицы в байтах.

physical_input_rows

Количество прочитанных строк таблицы.

cedrusdata.stats_cluster#

Отображает кумулятивную статистику кластера на определенные моменты времени.

По умолчанию сбор статистики отключен. Для включения необходимо добавить параметр cedrusdata.stats.cluster.enabled=true в файл config.properties. См. также дополнительные параметры конфигурации статистик кластера.

Процедура system.cedrusdata.clear_stats_cluster очищает таблицу cedrusdata.stats_cluster. Процедура system.cedrusdata.clear_stats очищает все таблицы cedrusdata.stats_*.

Колонка

Описание

snapshot_timestamp

Время, когда была собрана статистика в виде строки в формате ISO 8601. Для преобразования значения к типу TIMESTAMP WITH TIME ZONE используйте встроенную функцию from_iso8601_timestamp().

snapshot_timestamp_millis

Время, когда была собрана статистика в виде миллисекунд, прошедших с 1970-01-01T00:00:00 UTC. Для преобразования значения к типу TIMESTAMP WITH TIME ZONE используйте встроенную функцию from_unixtime(). Так как данная функция принимает секунды, значение необходимо предварительно разделить на 1000. Например: from_unixtime(cast(snapshot_timestamp_millis as double) / 1000).

active_workers

Количество активных worker-узлов. Координатор может быть включен в данную статистику, если значение параметра конфигурации node-scheduler.include-coordinator равно true (значение по умолчанию).

responded_workers

Количество worker-узлов, которые ответили на запрос о сборе статистики. Расчет кумулятивных статистик происходит только с учетом ответивших worker-узлов.

processors

Суммарное количество логических процессорных ядер.

heap_used

Суммарный объем использованной JVM heap памяти в байтах.

heap_available

Суммарный объем доступной JVM heap памяти в байтах.

non_heap_used

Суммарный объем использованной памяти в байтах, которая не относится к JVM heap.

total_process_cpu_load

Суммарная нагрузка на CPU на worker-узлах, создаваемая процессами CedrusData. Нагрузка на CPU отдельного процесса CedrusData на конкретном узле находится в диапазоне [0.0; 1.0], где 1.0 означает стопроцентную нагрузку. Значение суммарной нагрузки равно сумме нагрузок отдельных процессов CedrusData.

total_system_cpu_load

Суммарная нагрузка на CPU на worker-узлах. Нагрузка на CPU на конкретном узле находится в диапазоне [0.0; 1.0], где 1.0 означает стопроцентную нагрузку. Значение суммарной нагрузки равно сумме нагрузок на всех узлах.

average_process_cpu_load

Средняя нагрузка на CPU на worker-узлах, создаваемая процессами CedrusData. Равна значению total_process_cpu_load, разделенному на значение responded_workers.

average_system_cpu_load

Средняя нагрузка на CPU на worker-узлах. Равна значению total_system_cpu_load, разделенному на значение responded_workers.

cedrusdata.query_json#

Возвращает JSON-представление выполненных запросов.

Колонка

Описание

query_id

Уникальный идентификатор запроса.

info

JSON-представление запроса.

Процедуры System коннектора#

runtime.kill_query(query_id, message)#

Остановить выполнение запроса по query_id с заданным сообщением об ошибке. Параметр message является опциональным.

cedrusdata.clear_stats()#

Очищает статистику, отображаемую в таблице cedrusdata.stats_table_usage.

cedrusdata.refresh_query_history()#

Обновляет персистентную историю запросов. Используйте данную функцию, если вы вручную добавили новые запросы в историю, и хотите, чтобы они были использованы CedrusData без перезагрузки координатора.

cedrusdata.clear_query_history()#

Очищает персистентную историю запросов.

cedrusdata.clear_query_history_stats()#

Очищает статистику работы персистентной истории запросов.

Типы данных#

System коннектор содержит схемы со стандартными типами данных, которые не требуют дополнительных трансформаций.

Поддержка SQL команд#

Коннектор поддерживает общие команды и команды чтения данных.