ClickHouse коннектор#

Коннектор позволяет отправлять запросы и создавать таблицы в СУБД ClickHouse. Коннектор может быть использован для объединения данных из ClickHouse с данными из других источников.

Требования#

ClickHouse версии 23.8 и выше или Altinity версии 21.8 и выше
Наличие сетевого доступа к ClickHouse со всех узлов CedrusData (coordinator и worker). По умолчанию, ClickHouse использует порт 8123

Конфигурация#

Для создания каталога ClickHouse установите параметр connector.name в значение clickhouse. Например, для конфигурации каталога с именем example создайте файл etc/catalog/example.properties со следующим содержимым. Замените параметры подключения в соответствии с конфигурацией вашего сервера ClickHouse.

connector.name=clickhouse
connection-url=jdbc:clickhouse://host1:8123/
connection-user=exampleuser
connection-password=examplepassword

Параметр connection-url определяет JDBC строку подключения к серверу ClickHouse. Вы можете ознакомиться с полным списком допустимых параметров в документации JDBC драйвера ClickHouse.

Параметры connection-user and connection-password определяют имя пользователя и пароль для подключения к экземпляру ClickHouse (как правило, это сервисный пользователь). Если вы не хотите хранить имя пользователя и пароль в открытом виде воспользуйтесь функционалом передачи секретов через переменные окружения.

Защищенное подключение#

Если ваш экземпляр ClickHouse сконфигурирован с использованием TLS сертификатов, вы можете включить поддержку TLS между кластером CedrusData и ClickHouse путем добавления необходимых параметров к строке подключения, указанной в connection-url. Например, для JDBC драйвера ClickHouse версии 2.6.4 вы можете включить поддержку TLS путем добавления параметра ssl=true:

connection-url=jdbc:clickhouse://host1:8443/?ssl=true

Для ознакомления со всеми доступными параметрами TLS ознакомьтесь с документацией JDBC-драйвра Clickhouse.

Аутентификация в источнике данных#

Вы можете предоставить имя пользователя и пароль для подключения к источнику данных несколькими способами:

INLINE - в файле конфигурации каталога (в том числе, используя секреты, чтобы не хранить значения в открытом виде).
FILE - в отдельном properties файле.
KEYSTORE - в зашифрованном keystore файле.
Из extra credentials клиента CedrusData.

Конфигурация#
Название	Описание
`credential-provider.type`	Тип credential provider. Допустимые значения: `INLINE` (значение по умолчанию), `FILE` или `KEYSTORE`.
`connection-user`	Имя пользователя для подключения к источнику. Используется при `credential-provider.type=INLINE`.
`connection-password`	Пароль для подключения к источнику. Используется при `credential-provider.type=INLINE`.
`connection-credential-file`	Путь к properties файлу, содержащему параметры `connection-user` and `connection-password`. Используется при `credential-provider.type=FILE`.
`keystore-file-path`	Путь к keystore файлу, из которого следует прочитать имя пользователя и пароль. Используется при `credential-provider.type=KEYSTORE`.
`keystore-type`	Тип keystore файла. Например, `JKS` или `PEM`.
`keystore-password`	Пароль к keystore файлу.
`keystore-user-credential-name`	Имя keystore entity, содержащей имя пользователя для подключения к источнику.
`keystore-user-credential-password`	Пароль к keystore entity, содержащей имя пользователя для подключения к источнику
`keystore-password-credential-name`	Имя keystore entity, содержащей пароль для подключения к источнику.
`keystore-password-credential-password`	Пароль к keystore entity, содержащей пароль для подключения к источнику.
`user-credential-name`	Имя параметра extra credentials, значение которого следует использовать в качестве имени пользователя. См. `extraCredentials` в разделе Параметры подключения.
`password-credential-name`	Имя параметра extra credentials, значение которого следует использовать в качестве пароля. См. `extraCredentials` в разделе Параметры подключения.

Аутентификация в источнике данных от имени текущего пользователя#

В дополнение к описанным выше способам аутентификации, CedrusData поддерживает аутентификацию в источнике от имени текущего пользователя CedrusData.

Для использования данного типа аутентификации узел должен использовать PASSWORD аутентификацию с включенным параметром cedrusdata.http-server.authentication.password.populate-extra-credentials. Убедитесь, что файл config.properties содержит следующие параметры:

http-server.authentication.type=PASSWORD
cedrusdata.http-server.authentication.password.populate-extra-credentials=true

В файле конфигурации коннектора добавьте два параметра:

user-credential-name=cedrusdata.username
password-credential-name=cedrusdata.password

Теперь коннектор будет использовать имя и пароль текущего пользователя для аутентификации в источнике.

При использовании аутентификации от имени текущего пользователя CedrusData другие параметры аутентификации коннектора будут проигнорированы.

Несколько экземпляров ClickHouse#

Если у вас есть несколько экземпляров ClickHouse вам следует сконфигурировать несколько каталогов ClickHouse, каждый из которых будет работать с конкретным экземпляром ClickHouse. Для этого:

Общие параметры конфигурации#

Название	Описание	Значение по умолчанию
`case-insensitive-name-matching`	Включить поддержку case insensitive идентификаторов.	`false`
`case-insensitive-name-matching.cache-ttl`	Время жизни закэшированных метаданных о case insensitive идентификаторах. Значение имеет тип duration.	`1m`
`case-insensitive-name-matching.config-file`	Путь к файлу конфигурации в формате JSON, который позволяет разрешать конфликты имен между case insensitive схемами и таблицами.	`null`
`case-insensitive-name-matching.config-file.refresh-period`	Частота проверки обновлений файла `case-insensitive-name-matching.config-file`.	`0` (обновление отключено)
`metadata.cache-ttl`	Время жизни закэшированных метаданных (дескрипторы таблицы и колонок, статистики). Положительное значение включает кэширование. Значение имеет тип duration.	`0` (кэширование отключено)
`metadata.cache-missing`	Кэшировать ли информацию о том, что для используемых таблиц и колонок отсутствуют статистики. Включение данного параметра может ускорить планирование некоторых запросов. Однако, если информация об отсутствии статистик для конкретного объекта СУБД закэширована, но статистики стали доступны позднее (например, была запущена команда `ANALYZE`), CedrusData не сможет использовать статистики, пока не истечет время жизни закэшированной записи в соответствии с `metadata.cache-ttl`.	`false`
`metadata.schemas.cache-ttl`	Время жизни закэшированных имен схем. Положительное значение включает кэширование. Допустимо только, если параметр `metadata.cache-ttl` имеет положительное значение. Значение имеет тип duration.	`0` (кэширование отключено)
`metadata.tables.cache-ttl`	Время жизни закэшированных имен таблиц. Положительное значение включает кэширование. Допустимо только, если параметр `metadata.cache-ttl` имеет положительное значение. Значение имеет тип duration.	`0` (кэширование отключено)
`metadata.statistics.cache-ttl`	Время жизни закэшированных статистик. Положительное значение включает кэширование. Допустимо только, если параметр `metadata.cache-ttl` имеет положительное значение. Значение имеет тип duration.	`0` (кэширование отключено)
`metadata.cache-maximum-size`	Максимальное количество объектов, хранящихся в metadata cache.	`10000`
`write.batch-size`	Максимальное количество команд в batch операциях записи данных. Изменение данного параметра не рекомендовано, так как оно может негативно сказаться на производительности.	`1000`
`dynamic-filtering.enabled`	Использовать ли динамические фильтры при работе с JDBC источником.	`true`
`dynamic-filtering.wait-timeout`	Максимальное время ожидания готовности динамических фильтров с build стороны оператора join перед запуском JDBC запроса к источнику. Увеличение таймаута может позволить CedrusData выполнить запрос к источнику с более селективными фильтрами, но в то же время может увеличить latency некоторых запросов. Значение имеет тип duration.	`20s`

Добавление комментариев к SQL-запросам к источнику#

Опциональный параметр query.comment-format позволяет добавить комментарий, который будет добавлен к каждому SQL-запросу, отправляемому из CedrusData в источник. Значение параметра может содержать произвольные символы, а также набор специальных выражений, которые будут автоматически заменены CedrusData:

$QUERY_ID: Уникальный идентификатор запроса.
$USER: Имя пользователя CedrusData, который инициировал выполнение запроса.
$SOURCE: Идентификатор клиентского приложения. Например, trino-cli.
$TRACE_TOKEN: Trace token, заданный клиентским приложением.

Вы также можете добавить в комментарий значения переменных окружений CedrusData с помощью синтаксиса ${ENV:VARIABLE-NAME}.

Пример ниже добавляет комментарий «Query sent by Trino» к каждому запросу к SQL-источнику:

query.comment-format=Query sent by Trino

Пример SQL-запроса, отправленного к источнику:

SELECT * FROM example_table; /*Query sent by Trino.*/

Пример ниже добавляет специальные выражения в строку комментария:

query.comment-format=Query $QUERY_ID sent by user $USER from Trino.

Если пользователь Jane отправил запрос с идентификатором 20230622_180528_00000_bkizg, то источник получит SQL-запрос со следующим комментарием:

SELECT * FROM example_table; /*Query 20230622_180528_00000_bkizg sent by user Jane from Trino.*/

Примечание

Некоторые JDBC-драйвера могут автоматически удалять комментарии.

Domain compaction threshold#

CedrusData позволяет делегировать применение предикатов источнику данных (pushdown). Во многих случаях это существенно уменьшает количество записей, которые возвращает источник, и улучшает производительность. Однако, pushdown сложных предикатов (например, выражение IN со множеством значений) может негативно сказаться на производительности. При достижении порога сложности предиката, CedrusData автоматически преобразует предикат к более компактной форме. Например, предикат a IN (1, 2, ..., 100) может быть преобразован в a BETWEEN 1 AND 100. В большинстве случаев такое преобразование улучшает производительность запросов. Однако, в некоторых случаях может быть предпочтительнее передать сложный предикат в неизменном виде, так как источник данных может его обработать эффективнее, чем преобразованный предикат.

Вы можете увеличить значение порога сложности, чтобы CedrusData передавал предикат в источник без изменений. Используйте для этого параметр конфигурации каталога domain-compaction-threshold или свойство сессии domain_compaction_threshold.

Case insensitive идентификаторы#

Когда параметр конфигурации case-insensitive-name-matching установлен в true, CedrusData может обращаться к схемам и таблицам источника, имена которых не являются lowercase. Для этого CedrusData сопоставляет lowercase название схемы или таблицы с ее реальным названием в источнике данных. Например, если таблица в источнике данных имеет название Customers, CedrusData позволяет обратиться к ней по имени customers.

В случае, если источник имеет несколько объектов, имена которых отличаются только регистром (например, Customer и customer), CedrusData не может автоматически определить, к какому объекту обращаться.

В этом случае вы можете явно задать сопоставление имен с помощью файла в JSON формате, путь к которому следует указать в параметре конфигурации каталога case-insensitive-name-matching.config-file. Например:

{
  "schemas": [
    {
      "remoteSchema": "CaseSensitiveName",
      "mapping": "case_insensitive_1"
    },
    {
      "remoteSchema": "cASEsENSITIVEnAME",
      "mapping": "case_insensitive_2"
    }],
  "tables": [
    {
      "remoteSchema": "CaseSensitiveName",
      "remoteTable": "tablex",
      "mapping": "table_1"
    },
    {
      "remoteSchema": "CaseSensitiveName",
      "remoteTable": "TABLEX",
      "mapping": "table_2"
    }]
}

В данном случае, при обращении из CedrusData к схеме case_insensitive_1, запрос будет переадресован к схеме источника CaseSensitiveName, а при обращении из CedrusData к таблице case_insensitive_1.table_1 запрос будет переадресован к таблице источника CaseSensitiveName.tablex.

По умолчанию если вы изменяете содержимое данного файла, экземпляр CedrusData должен быть перезапущен, чтобы применить изменения. Если вы хотите изменять содержимое файла без перезапуска CedrusData, вы можете установить параметр конфигурации case-insensitive-name-mapping.refresh-period, который определяет частоту повторного чтения данного файла.

case-insensitive-name-mapping.refresh-period=30s

Неатомарный INSERT#

Коннектор поддерживает добавление записей в источник с помощью команды INSERT statements. По умолчанию CedrusData осуществляет запись данных, используя временную таблицу, что обеспечивает транзакционные гарантии: в источник будут записаны либо все данные, либо не будет записано ничего (в случае возникновения ошибки).

Вы можете осуществлять запись данных в таблицу источника напрямую, минуя временную таблицу. Для этого установите параметр конфигурации каталога insert.non-transactional-insert.enabled или свойство сессии non_transactional_insert в значение true. Изменение данного параметра может увеличить производительность записи, но может привести данные в источнике в неопределенное состояние при возникновении ошибки в момент записи. Например, если при вставке 10 записей в таблицу источника в середине процесса произошла ошибка, откат вставки уже сохраненных записей может оказаться невозможным, и после выполнения команды источник будет содержать только часть записей.

Работа с ClickHouse#

Коннектор ClickHouse отображает каждую базу данных (database) ClickHouse в виде логической схемы CedrusData. Запустите команды SHOW SCHEMAS, чтобы отобразить список баз данных ClickHouse:

SHOW SCHEMAS FROM example;

Если у вас есть база данных ClickHouse web, запустите команду SHOW TABLES, чтобы отобразить таблицы это базы данных:

SHOW TABLES FROM example.web;

Используйте команды DESCRIBE или SHOW COLUMNS, чтобы отобразить колонки отдельных таблиц:

DESCRIBE example.web.clicks;
SHOW COLUMNS FROM example.web.clicks;

Используйте команду SELECT, чтобы получить данные из таблиц ClickHouse:

SELECT * FROM example.web.clicks;

Свойства таблицы#

CedrusData позволяет создавать таблицы в ClickHouse с помощью команды CREATE TABLE. Вы можете задать свойства таблицы ClickHouse с помощью ключевого слова WITH. Например:

CREATE TABLE default.trino_ck (
  id int NOT NULL,
  birthday DATE NOT NULL,
  name VARCHAR,
  age BIGINT,
  logdate DATE NOT NULL
)
WITH (
  engine = 'MergeTree',
  order_by = ARRAY['id', 'birthday'],
  partition_by = ARRAY['toYYYYMM(logdate)'],
  primary_key = ARRAY['id'],
  sample_by = 'id'
);

Поддерживаемые свойства:

Название	Значение по умолчанию	Описание
`engine`	`Log`	Тип движка таблицы. Поддерживаемые значения: `Log`, `MergeTree`. Движок `ReplicatedMergeTree` в настоящее время не поддерживается.
`order_by`	(отсутствует)	Только для `MergeTree`. Массив колонок или выражений для построения ключа сортировки (`ORDER BY`). Если не значение на задано, будет использовано значение `tuple()`.
`partition_by`	(отсутствует	Только для `MergeTree`. Массив колонок или выражений для построения ключе партиционирования (`PARTITION BY`). Необязательный параметр.
`primary_key`	(отсутствует)	Только для `MergeTree`. Массив колонок или выражений для построения первичного ключа (`PRIMARY KEY`). Необязательный параметр.
`sample_by`	(отсутствует)	Только для `MergeTree`. Выражения для сэмплирования. Необязательный параметр.

Сопоставление типов#

Так как CedrusData и ClickHouse могут поддерживать типы данных, которые не поддерживаются другой стороной, коннектор ClickHouse переопределяет некоторые типы данных при осуществлении операций чтения и записи.

Приведение типов ClickHouse к типам CedrusData#

Коннектор ClickHouse приводит типы ClickHouse к типам CedrusData согласно таблице ниже.

Приведение типов ClickHouse к типам CedrusData#
Тип ClickHouse	Тип CedrusData	Комментарий
`Int8`	`TINYINT`	`TINYINT`, `BOOL`, `BOOLEAN` и `INT1` — синонимы `Int8`
`Int16`	`SMALLINT`	`SMALLINT` и `INT2` — синонимы `Int16`
`Int32`	`INTEGER`	`INT`, `INT4` и `INTEGER` — синонимы `Int32`
`Int64`	`BIGINT`	`BIGINT` — синоним `Int64`
`UInt8`	`SMALLINT`
`UInt16`	`INTEGER`
`UInt32`	`BIGINT`
`UInt64`	`DECIMAL(20,0)`
`Float32`	`REAL`	`FLOAT` — синоним `Float32`
`Float64`	`DOUBLE`	`DOUBLE` — синоним `Float64`
`Decimal`	`DECIMAL`
`FixedString`	`VARCHAR`	Установка параметра каталога `clickhouse.map-string-as-varchar` в `false` меняет тип CedrusData на `VARBINARY`
`String`	`VARCHAR`	Установка параметра каталога `clickhouse.map-string-as-varchar` в `false` меняет тип CedrusData на `VARBINARY`
`Date`	`DATE`
`DateTime[(timezone)]`	`TIMESTAMP(0) [WITH TIME ZONE]`
`IPv4`	`IPADDRESS`
`IPv6`	`IPADDRESS`
`Enum8`	`VARCHAR`
`Enum16`	`VARCHAR`
`UUID`	`UUID`

Другие типы данных не поддерживаются.

Приведение типов CedrusData к типам ClickHouse#

Коннектор ClickHouse приводит типы CedrusData к типам ClickHouse согласно таблице ниже.

Приведение типов CedrusData к типам ClickHouse#
Тип CedrusData	Тип ClickHouse	Комментарий
`BOOLEAN`	`UInt8`
`TINYINT`	`Int8`	`TINYINT`, `BOOL`, `BOOLEAN` и `INT1` — синонимы `Int8`
`SMALLINT`	`Int16`	`SMALLINT` и `INT2` — синонимы `Int16`
`INTEGER`	`Int32`	`INT`, `INT4` и `INTEGER` — синонимы `Int32`
`BIGINT`	`Int64`	`BIGINT` — синоним `Int64`
`REAL`	`Float32`	`FLOAT` — синоним `Float32`
`DOUBLE`	`Float64`	`DOUBLE` — синоним `Float64`
`DECIMAL(p,s)`	`Decimal(p,s)`
`VARCHAR`	`String`
`CHAR`	`String`
`VARCHAR`	`String`	Установка параметра каталога `clickhouse.map-string-as-varchar` в `false` меняет тип CedrusData на `VARBINARY`
`DATE`	`Date`
`TIMESTAMP(0)`	`DateTime`
`UUID`	`UUID`

Другие типы данных не поддерживаются.

Конфигурация сопоставления типов#

Следующие параметры конфигурации могут быть использованы для изменения логики приведения типов.

Название	Описание	Значение по умолчанию
`unsupported-type-handling`	Как обрабатывать колонки неподдерживаемых типов: `IGNORE` - не обрабатывать колонку; `CONVERT_TO_VARCHAR` - привести значение колонки к `VARCHAR` неограниченной длины. Параметр сессии: `unsupported_type_handling`.	`IGNORE`
`jdbc-types-mapped-to-varchar`	Список типов данных источника, которые должны быть принудительно приведены к `VARCHAR` неограниченной длины (даже если указанный тип поддерживается коннектором).

Поддержка SQL#

Коннектор поддерживает команды чтения и изменения данных и метаданных экземпляра ClickHouse. В дополнение к общим командам и командам чтения коннектор поддерживает следующие операции:

ALTER SCHEMA#

Коннектор поддерживает переименование схемы с помощью команды ALTER SCHEMA RENAME. Команда ALTER SCHEMA SET AUTHORIZATION не поддерживается.

Процедуры#

`system.flush_metadata_cache()`#

Очистить кэш JDBC метаданных. Команда ниже очищает кэш метаданных всех схем в каталоге example.

USE example.example_schema;
CALL system.flush_metadata_cache();

`system.execute('query')`#

Процедура execute позволяет запустить SQL запрос к источнику в неизменном виде. Данная процедура полезна, когда вам требуется воспользоваться специфичным синтаксисом источника, который недоступен в CedrusData. В отличие от табличных функций query и raw_query данная процедура позволяет запускать SQL-запросы, который не возвращают записи (например, DML и DDL команды).

Запрос из процедуры будет исполнен в источнике как есть, без дополнительных проверок доступа к конкретным объектам источника на стороне CedrusData.

Пример использования процедуры для вызова команды ALTER TABLE на источнике:

USE example.example_schema;
CALL system.execute(query => 'ALTER TABLE your_table ALTER COLUMN your_column DROP DEFAULT');

Табличные функции#

Коннектор предоставляет ряд табличных функций для обработки данных ClickHouse.

`query(varchar) -> table`#

Табличная функция query позволяет запустить конкретный запрос к ClickHouse с использованием нативного синтаксиса ClickHouse. Запрос будет выполнен в ClickHouse как есть без каких-либо изменений. Данный функционал может быть полезен, если вам требуется задействовать специфичный функционал ClickHouse (например, нестандартный синтаксис или хинты или для ускорения запроса) или получить полный контроль над тем, какой запрос будет выполнен в ClickHouse.

Предупреждение

Нативный запрос, переданный в источник, должен возвращать набор записей (result set). CedrusData не осуществляет проверку доступа текущего пользователя к объектам источника, задействованным в нативном запросе. Используйте нативные запросы только для чтения данных.

Пример использования табличной функции query для сканирования таблицы tpch.nation:

SELECT
  *
FROM
  TABLE(
    example.system.query(
      query => 'SELECT
        *
      FROM
        tpch.nation'
    )
  );

Примечание

Полиморфные табличные функции не сохраняют оригинальный порядок записей в результате запроса. Есть переданный запрос содержит запрос выражение ORDER BY, функция может вернуть записи в ином порядке. Для восстановления требуемого порядка используйте ORDER BY в запросе CedrusData.

Производительность#

Коннектор содержит набор оптимизаций производительности, описанных в последующих секциях.

Пул соединений (connection pool)#

Коннектор поддерживает работу через пул соединений с помощью библиотеки HikariCP. В ряде случаев использование пула соединений может ускорить запросы к источнику данных.

CedrusData создает по одному пулу соединений на каждого пользователя, который подключается к источнику:

Если вы аутентифицируетесь в источнике от имени общего системного пользователя, будет создан один пул.
Если вы используете Аутентификация в коннекторах от имени текущего пользователя, то будет создано по одному пулу на каждого активного пользователя CedrusData, но не более cedrusdata.jdbc.connection-pool.max-users. Создание большого количества соединений может негативно сказать на источнике. Мы рекомендуем вам провести нагрузочное тестирование, чтобы убедиться, что преимущества пула соединений перевешивают риски, при использовании совместно с аутентификацией в источнике от имени текущего пользователя.

Каждый пул может содержать до cedrusdata.jdbc.connection-pool.max-user-connections соединений.

Название	Описание	Значение по умолчанию
`cedrusdata.jdbc.connection-pool.enabled`	Использовать ли пул соединений при подключении к источнику.	`false`
`cedrusdata.jdbc.connection-pool.max-users`	Максимальное количество пулов соединений, которое может быть создано. Если необходимо создать новый пул для пользователя, но общее количество пулов достигло предела, будет закрыт один из давно неиспользуемых пулов. Значение данного параметра не имеет значения, если вы аутентифицируетесь в источнике от имени общего системного пользователя, так как в этом случае всегда будет использован ровно только пул.	`100`
`cedrusdata.jdbc.connection-pool.max-user-connections`	Максимальное количество подключений к источнику в рамках одного пула.	Равно количеству процессорных ядер
`cedrusdata.jdbc.connection-pool.user-ttl`	Как долго удерживать пул пользователя открытым в случае отсутствия активности последнего.	`5m` (пять минут)
`cedrusdata.jdbc.connection-pool.connection-ttl`	Как долго удерживать соединение открытым в случае отсутствия активности.	`5m` (пять минут)

Pushdown#

Коннектор поддерживает pushdown различных выражений, включая предикаты и проекции, агрегации, JOIN, LIMIT.

В общем случае pushdown возможен для типов данных BOOLEAN, TINYINT, SMALLINT, INTEGER, BIGINT, DECIMAL, REAL, DOUBLE, CHAR, VARCHAR, TIMESTAMP и TIMESTAMP WITH TIME ZONE. Для некоторых операций pushdown разрешен только для определенных типов данных.

Используйте следующие параметры конфигурации для включения и выключения pushdown некоторых типов данных.

Управление pushdown типов данных#
Параметр конфигурации	Свойство сессии	Описание
`cedrusdata.clickhouse.pushdown.boolean-type`	`cedrusdata_pushdown_boolean_type`	Включает pushdown для типа `BOOLEAN`. Значение по умолчанию: `true`.
`cedrusdata.clickhouse.pushdown.decimal-type`	`cedrusdata_pushdown_decimal_type`	Включает pushdown для типа `DECIMAL`. Значение по умолчанию: `true`.
`cedrusdata.clickhouse.pushdown.real-type`	`cedrusdata_pushdown_real_type`	Включает pushdown для типа `REAL`. Значение по умолчанию: `true`.
`cedrusdata.clickhouse.pushdown.double-type`	`cedrusdata_pushdown_double_type`	Включает pushdown для типа `DOUBLE`. Значение по умолчанию: `true`.
`cedrusdata.clickhouse.pushdown.date-type`	`cedrusdata_pushdown_date_type`	Включает pushdown для типа `DATE`. Значение по умолчанию: `true`.
`cedrusdata.clickhouse.pushdown.timestamp-type`	`cedrusdata_pushdown_timestamp_type`	Включает pushdown для типа `TIMESTAMP`. Значение по умолчанию: `true`.

Pushdown выражений#

Коннектор поддерживает pushdown следующих выражений в качестве предикатов (выражения WHERE, HAVING) и проекций (функции в выражении SELECT):

Константы
Колонки таблицы
Логические операторы AND, OR, NOT
Оператор `IS NULL
Оператор LIKE
Операторы сравнения =, !=, >, >=, <, <= для типов TINYINT, SMALLINT, INTEGER, BIGINT, DECIMAL, REAL, DOUBLE, CHAR, VARCHAR, TIMESTAMP
Оператор IN для типов BOOLEAN, TINYINT, SMALLINT, INTEGER, BIGINT, DECIMAL, REAL, DOUBLE, CHAR, VARCHAR, TIMESTAMP
Арифметические операторы +, -, /, % для типов TINYINT, SMALLINT, INTEGER, BIGINT, DECIMAL, REAL, DOUBLE
Функция CAST
Функция NULL IF
Функции SUBSTRING, UPPER, LOWER, TRIM, LTRIM, RTRIM
Функции YEAR, QUARTER, MONTH, WEEK, DAY, DAY_OF_WEEK, DAY_OF_YEAR, HOUR, MINUTE, SECOND

Используйте следующие параметры конфигурации для включения и выключения pushdown некоторых выражений.

Управление pushdown выражений#
Параметр конфигурации	Свойство сессии	Описание
`cedrusdata.clickhouse.pushdown.cast-function`	`cedrusdata_pushdown_cast_function`	Включает pushdown функции `CAST`. Значение по умолчанию: `true`.
`cedrusdata.clickhouse.pushdown.substring-function`	`cedrusdata_pushdown_substring_function`	Включает pushdown функции `SUBSTRING`. Значение по умолчанию: `true`.
`cedrusdata.clickhouse.pushdown.upper-function`	`cedrusdata_pushdown_upper_function`	Включает pushdown функции `UPPER`. Значение по умолчанию: `true`.
`cedrusdata.clickhouse.pushdown.lower-function`	`cedrusdata_pushdown_lower_function`	Включает pushdown функции `LOWER`. Значение по умолчанию: `true`.

Pushdown агрегаций#

Коннектор поддерживает pushdown агрегатных функций:

avg() (для типов данных BIGINT, REAL, DOUBLE, DECIMAL)
count() (включая COUNT DISTINCT)
max()
min()
sum()
stddev()
stddev_pop()
stddev_samp()
variance()
var_pop()
var_samp()
covar_pop()
covar_samp()
corr()

Pushdown других операций#

Коннектор поддерживает pushdown следующих операций:

Join pushdown (только для JOIN, содержащих одно условие равенства между колонками различных таблиц)
Limit pushdown
Top-N pushdown