Exasol коннектор#

Примечание

Ниже приведена оригинальная документация Trino. Скоро мы ее переведем на русский язык и дополним полезными примерами.

The Exasol connector allows querying an Exasol database.

Requirements#

To connect to Exasol, you need:

Exasol database version 7.1 or higher.
Network access from the Trino coordinator and workers to Exasol. Port 8563 is the default port.

Configuration#

To configure the Exasol connector as the example catalog, create a file named example.properties in etc/catalog. Include the following connection properties in the file:

connector.name=exasol
connection-url=jdbc:exa:exasol.example.com:8563
connection-user=user
connection-password=secret

The connection-url defines the connection information and parameters to pass to the JDBC driver. See the Exasol JDBC driver documentation for more information.

The connection-user and connection-password are typically required and determine the user credentials for the connection, often a service user. You can use secrets to avoid using actual values in catalog properties files.

Примечание

If your Exasol database uses a self-signed TLS certificate you must specify the certificate’s fingerprint in the JDBC URL using parameter fingerprint, e.g.: jdbc:exa:exasol.example.com:8563;fingerprint=ABC123.

Аутентификация в источнике данных#

Вы можете предоставить имя пользователя и пароль для подключения к источнику данных несколькими способами:

INLINE - в файле конфигурации каталога (в том числе, используя секреты, чтобы не хранить значения в открытом виде).
FILE - в отдельном properties файле.
KEYSTORE - в зашифрованном keystore файле.
Из extra credentials клиента CedrusData.

Конфигурация#
Название	Описание
`credential-provider.type`	Тип credential provider. Допустимые значения: `INLINE` (значение по умолчанию), `FILE` или `KEYSTORE`.
`connection-user`	Имя пользователя для подключения к источнику. Используется при `credential-provider.type=INLINE`.
`connection-password`	Пароль для подключения к источнику. Используется при `credential-provider.type=INLINE`.
`connection-credential-file`	Путь к properties файлу, содержащему параметры `connection-user` and `connection-password`. Используется при `credential-provider.type=FILE`.
`keystore-file-path`	Путь к keystore файлу, из которого следует прочитать имя пользователя и пароль. Используется при `credential-provider.type=KEYSTORE`.
`keystore-type`	Тип keystore файла. Например, `JKS` или `PEM`.
`keystore-password`	Пароль к keystore файлу.
`keystore-user-credential-name`	Имя keystore entity, содержащей имя пользователя для подключения к источнику.
`keystore-user-credential-password`	Пароль к keystore entity, содержащей имя пользователя для подключения к источнику
`keystore-password-credential-name`	Имя keystore entity, содержащей пароль для подключения к источнику.
`keystore-password-credential-password`	Пароль к keystore entity, содержащей пароль для подключения к источнику.
`user-credential-name`	Имя параметра extra credentials, значение которого следует использовать в качестве имени пользователя. См. `extraCredentials` в разделе Параметры подключения.
`password-credential-name`	Имя параметра extra credentials, значение которого следует использовать в качестве пароля. См. `extraCredentials` в разделе Параметры подключения.

Общие параметры конфигурации#

Название	Описание	Значение по умолчанию
`case-insensitive-name-matching`	Включить поддержку case insensitive идентификаторов.	`false`
`case-insensitive-name-matching.cache-ttl`	Время жизни закэшированных метаданных о case insensitive идентификаторах. Значение имеет тип duration.	`1m`
`case-insensitive-name-matching.config-file`	Путь к файлу конфигурации в формате JSON, который позволяет разрешать конфликты имен между case insensitive схемами и таблицами.	`null`
`case-insensitive-name-matching.config-file.refresh-period`	Частота проверки обновлений файла `case-insensitive-name-matching.config-file`.	`0` (обновление отключено)
`metadata.cache-ttl`	Время жизни закэшированных метаданных (дескрипторы таблицы и колонок, статистики). Положительное значение включает кэширование. Значение имеет тип duration.	`0` (кэширование отключено)
`metadata.cache-missing`	Кэшировать ли информацию о том, что для используемых таблиц и колонок отсутствуют статистики. Включение данного параметра может ускорить планирование некоторых запросов. Однако, если информация об отсутствии статистик для конкретного объекта СУБД закэширована, но статистики стали доступны позднее (например, была запущена команда `ANALYZE`), CedrusData не сможет использовать статистики, пока не истечет время жизни закэшированной записи в соответствии с `metadata.cache-ttl`.	`false`
`metadata.schemas.cache-ttl`	Время жизни закэшированных имен схем. Положительное значение включает кэширование. Допустимо только, если параметр `metadata.cache-ttl` имеет положительное значение. Значение имеет тип duration.	`0` (кэширование отключено)
`metadata.tables.cache-ttl`	Время жизни закэшированных имен таблиц. Положительное значение включает кэширование. Допустимо только, если параметр `metadata.cache-ttl` имеет положительное значение. Значение имеет тип duration.	`0` (кэширование отключено)
`metadata.statistics.cache-ttl`	Время жизни закэшированных статистик. Положительное значение включает кэширование. Допустимо только, если параметр `metadata.cache-ttl` имеет положительное значение. Значение имеет тип duration.	`0` (кэширование отключено)
`metadata.cache-maximum-size`	Максимальное количество объектов, хранящихся в metadata cache.	`10000`
`write.batch-size`	Максимальное количество команд в batch операциях записи данных. Изменение данного параметра не рекомендовано, так как оно может негативно сказаться на производительности.	`1000`
`dynamic-filtering.enabled`	Использовать ли динамические фильтры при работе с JDBC источником.	`true`
`dynamic-filtering.wait-timeout`	Максимальное время ожидания готовности динамических фильтров с build стороны оператора join перед запуском JDBC запроса к источнику. Увеличение таймаута может позволить CedrusData выполнить запрос к источнику с более селективными фильтрами, но в то же время может увеличить latency некоторых запросов. Значение имеет тип duration.	`20s`

Domain compaction threshold#

CedrusData позволяет делегировать применение предикатов источнику данных (pushdown). Во многих случаях это существенно уменьшает количество записей, которые возвращает источник, и улучшает производительность. Однако, pushdown сложных предикатов (например, выражение IN со множеством значений) может негативно сказаться на производительности. При достижении порога сложности предиката, CedrusData автоматически преобразует предикат к более компактной форме. Например, предикат a IN (1, 2, ..., 100) может быть преобразован в a BETWEEN 1 AND 100. В большинстве случаев такое преобразование улучшает производительность запросов. Однако, в некоторых случаях может быть предпочтительнее передать сложный предикат в неизменном виде, так как источник данных может его обработать эффективнее, чем преобразованный предикат.

Вы можете увеличить значение порога сложности, чтобы CedrusData передавал предикат в источник без изменений. Используйте для этого параметр конфигурации каталога domain-compaction-threshold или свойство сессии domain_compaction_threshold.

Case insensitive идентификаторы#

Когда параметр конфигурации case-insensitive-name-matching установлен в true, CedrusData может обращаться к схемам и таблицам источника, имена которых не являются lowercase. Для этого CedrusData сопоставляет lowercase название схемы или таблицы с ее реальным названием в источнике данных. Например, если таблица в источнике данных имеет название Customers, CedrusData позволяет обратиться к ней по имени customers.

В случае, если источник имеет несколько объектов, имена которых отличаются только регистром (например, Customer и customer), CedrusData не может автоматически определить, к какому объекту обращаться.

В этом случае вы можете явно задать сопоставление имен с помощью файла в JSON формате, путь к которому следует указать в параметре конфигурации каталога case-insensitive-name-matching.config-file. Например:

{
  "schemas": [
    {
      "remoteSchema": "CaseSensitiveName",
      "mapping": "case_insensitive_1"
    },
    {
      "remoteSchema": "cASEsENSITIVEnAME",
      "mapping": "case_insensitive_2"
    }],
  "tables": [
    {
      "remoteSchema": "CaseSensitiveName",
      "remoteTable": "tablex",
      "mapping": "table_1"
    },
    {
      "remoteSchema": "CaseSensitiveName",
      "remoteTable": "TABLEX",
      "mapping": "table_2"
    }]
}

В данном случае, при обращении из CedrusData к схеме case_insensitive_1, запрос будет переадресован к схеме источника CaseSensitiveName, а при обращении из CedrusData к таблице case_insensitive_1.table_1 запрос будет переадресован к таблице источника CaseSensitiveName.tablex.

По умолчанию если вы изменяете содержимое данного файла, экземпляр CedrusData должен быть перезапущен, чтобы применить изменения. Если вы хотите изменять содержимое файла без перезапуска CedrusData, вы можете установить параметр конфигурации case-insensitive-name-mapping.refresh-period, который определяет частоту повторного чтения данного файла.

case-insensitive-name-mapping.refresh-period=30s

Type mapping#

Because Trino and Exasol each support types that the other does not, this connector modifies some types when reading data. Data types may not map the same way in both directions between Trino and the data source. Refer to the following sections for type mapping in each direction.

Exasol to Trino type mapping#

Trino supports selecting Exasol database types. This table shows the Exasol to Trino data type mapping:

Exasol to Trino type mapping#
Exasol database type	Trino type	Notes
`BOOLEAN`	`BOOLEAN`
`DOUBLE PRECISION`	`REAL`
`DECIMAL(p, s)`	`DECIMAL(p, s)`	See Mapping numeric types
`CHAR(n)`	`CHAR(n)`
`VARCHAR(n)`	`VARCHAR(n)`
`DATE`	`DATE`

No other types are supported.

Mapping numeric types#

An Exasol DECIMAL(p, s) maps to Trino’s DECIMAL(p, s) and vice versa except in these conditions:

No precision is specified for the column (example: DECIMAL or DECIMAL(*)).
Scale (s) is greater than precision.
Precision (p) is greater than 36.
Scale is negative.

Mapping character types#

Trino’s VARCHAR(n) maps to VARCHAR(n) and vice versa if n is no greater than 2000000. Exasol does not support longer values. If no length is specified, the connector uses 2000000.

Trino’s CHAR(n) maps to CHAR(n) and vice versa if n is no greater than 2000. Exasol does not support longer values.

Конфигурация сопоставления типов#

Следующие параметры конфигурации могут быть использованы для изменения логики приведения типов.

Название	Описание	Значение по умолчанию
`unsupported-type-handling`	Как обрабатывать колонки неподдерживаемых типов: `IGNORE` - не обрабатывать колонку; `CONVERT_TO_VARCHAR` - привести значение колонки к `VARCHAR` неограниченной длины. Параметр сессии: `unsupported_type_handling`.	`IGNORE`
`jdbc-types-mapped-to-varchar`	Список типов данных источника, которые должны быть принудительно приведены к `VARCHAR` неограниченной длины (даже если указанный тип поддерживается коннектором).

SQL support#

The connector provides globally available and read operation statements to access data and metadata in the Exasol database.

Procedures#

`system.flush_metadata_cache()`#

Очистить кэш JDBC метаданных. Команда ниже очищает кэш метаданных всех схем в каталоге example.

USE example.example_schema;
CALL system.flush_metadata_cache();

`system.execute('query')`#

Процедура execute позволяет запустить SQL запрос к источнику в неизменном виде. Данная процедура полезна, когда вам требуется воспользоваться специфичным синтаксисом источника, который недоступен в CedrusData. В отличие от табличных функций query и raw_query данная процедура позволяет запускать SQL-запросы, который не возвращают записи (например, DML и DDL команды).

Запрос из процедуры будет исполнен в источнике как есть, без дополнительных проверок доступа к конкретным объектам источника на стороне CedrusData.

Пример использования процедуры для вызова команды ALTER TABLE на источнике:

USE example.example_schema;
CALL system.execute(query => 'ALTER TABLE your_table ALTER COLUMN your_column DROP DEFAULT');

Table functions#

The connector provides specific table functions to access Exasol.

`query(varchar) -> table`#

The query function allows you to query the underlying database directly. It requires syntax native to Exasol, because the full query is pushed down and processed in Exasol. This can be useful for accessing native features which are not available in Trino or for improving query performance in situations where running a query natively may be faster.

Предупреждение

Нативный запрос, переданный в источник, должен возвращать набор записей (result set). CedrusData не осуществляет проверку доступа текущего пользователя к объектам источника, задействованным в нативном запросе. Используйте нативные запросы только для чтения данных.

As a simple example, query the example catalog and select an entire table::

SELECT
  *
FROM
  TABLE(
    example.system.query(
      query => 'SELECT
        *
      FROM
        tpch.nation'
    )
  );

As a practical example, you can use the WINDOW clause from Exasol:

SELECT
  *
FROM
  TABLE(
    example.system.query(
      query => 'SELECT
        id, department, hire_date, starting_salary,
        AVG(starting_salary) OVER w2 AVG,
        MIN(starting_salary) OVER w2 MIN_STARTING_SALARY,
        MAX(starting_salary) OVER (w1 ORDER BY hire_date)
      FROM employee_table
      WINDOW w1 as (PARTITION BY department), w2 as (w1 ORDER BY hire_date)
      ORDER BY department, hire_date'
    )
  );

Примечание

Полиморфные табличные функции не сохраняют оригинальный порядок записей в результате запроса. Есть переданный запрос содержит запрос выражение ORDER BY, функция может вернуть записи в ином порядке. Для восстановления требуемого порядка используйте ORDER BY в запросе CedrusData.

Exasol коннектор#

Requirements#

Configuration#

Аутентификация в источнике данных#

Общие параметры конфигурации#

Domain compaction threshold#

Case insensitive идентификаторы#

Type mapping#

Exasol to Trino type mapping#

Mapping numeric types#

Mapping character types#

Конфигурация сопоставления типов#

SQL support#

Procedures#

system.flush_metadata_cache()#

system.execute('query')#

Table functions#

query(varchar) -> table#

`system.flush_metadata_cache()`#

`system.execute('query')`#

`query(varchar) -> table`#