Подключение из CedrusData#

CedrusData — это высокопроизводительная система для обработки больших данных на основе open-source проекта Trino.

Подключение к CedrusData Catalog из CedrusData происходит с помощью коннектора Iceberg.

Подготовка#

Убедитесь, что CedrusData Catalog содержит хотя бы один Iceberg каталог
Получите постоянный или временный токен доступа CedrusData Catalog

Конфигурация CedrusData#

Базовая конфигурация каталога Iceberg REST Catalog в CedrusData для подключения к CedrusData Catalog приведена ниже:

iceberg.catalog.type=rest
iceberg.rest-catalog.uri=<адрес_CedrusData_Catalog>
iceberg.rest-catalog.warehouse=<имя_каталога_Iceberg_в_CedrusData_Catalog>
iceberg.rest-catalog.security=oauth2
iceberg.rest-catalog.oauth2.<тип_аутентификации>=<токен_доступа_CedrusData_Catalog>
iceberg.rest-catalog.session=<тип_сессии>

Где:

<адрес_CedrusData_Сatalog> — адрес, по которому доступен Iceberg REST Catalog интерфейс CedrusData Catalog (http(s)://host[:port]/catalog/iceberg)
<имя_каталога_Iceberg_в_CedrusData_Catalog> — имя объекта Iceberg catalog, зарегистрированного в CedrusData Catalog
<тип_аутентификации> — механизм аутентификации в CedrusData Catalog (credential или token)
<токен_доступа_CedrusData_Catalog> — токен доступа CedrusData Catalog: постоянный токен доступа для типа аутентификации credential; постоянный иди временный токен доступа для типа аутентификации token
<тип_сессии> — none, чтобы выполнять команды от системного пользователя; user — чтобы осуществлять имперсонацию пользователей CedrusData в CedrusData Catalog (в этом случае <тип_аутентификации> должен иметь значение credential).

Кроме этого, вы должны задать конфигурацию файловой системы для доступа к файловой системе. В конце документа приведен пример полной конфигурации для доступа к S3-совместимой файловой системе.

Пример#

Инструкции ниже описывают, как интегрировать локальный экземпляр CedrusData с CedrusData Catalog.

Создайте файловую систему CedrusData Catalog на основе MinIO согласно инструкциям. Не останавливайте Docker-контейнеры.

Создайте Iceberg каталог с именем ice_prod в CedrusData Catalog:

docker exec -it example-catalog catalog iceberg catalog create \
  --catalog-name ice_prod \
  --file-system-name minio \
  --file-system-location s3://ice-bucket

Запустите Docker-контейнер CedrusData. Мы передадим ключи MinIO и токен доступа CedrusData Catalog в качестве переменных окружения, чтобы нам не писать их в явном виде в дальнейшем:

CATALOG_ACCESS_TOKEN=$(docker exec example-catalog cat /data/catalog/admin-access-token) && \
docker run -d \
  --name example-cedrusdata \
  --network=example-network \
  -e CATALOG_MANAGEMENT=cedrusdata_dynamic \
  -e CATALOG_ACCESS_TOKEN=$CATALOG_ACCESS_TOKEN \
  -e MINIO_ACCESS_KEY=accesskey \
  -e MINIO_SECRET_KEY=secretkey \
  -p 8080:8080 \
  cr.yandex/crpjtvqf29mpabhmrf1s/cedrusdata:458-1

Откройте SQL-редактор CedrusData по адресу http://localhost:8080/cedrus-ui. В окне авторизации задайте имя пользователя alice.

Создайте новый каталог ice:

CREATE CATALOG ice USING iceberg 
WITH (
  "iceberg.catalog.type" = 'REST',
  "iceberg.rest-catalog.uri" = 'http://example-catalog:9080/catalog/iceberg',
  "iceberg.rest-catalog.warehouse" = 'ice_prod',
  "iceberg.rest-catalog.security" = 'oauth2',
  "iceberg.rest-catalog.oauth2.credential" = '${ENV:CATALOG_ACCESS_TOKEN}',
  "iceberg.rest-catalog.session" = 'user',
  "fs.hadoop.enabled" = 'false',
  "fs.native-s3.enabled" = 'true',
  "s3.endpoint" = 'http://example-minio:9000',
  "s3.region" = 'us-east-1',
  "s3.path-style-access" = 'true',
  "s3.aws-access-key" = '${ENV:MINIO_ACCESS_KEY}',
  "s3.aws-secret-key" = '${ENV:MINIO_SECRET_KEY}'    
);

Попробуйте отобразить список схем. CedrusData вернет ошибку, так как мы включили имперсонацию (iceberg.rest-catalog.session=user), но пользователь alice не зарегистрирован в CedrusData Catalog:
```
SHOW SCHEMAS IN ice;
```
```
Error listing schemas for catalog ice: Malformed request: unauthorized_client: Authentication failed
```

Создайте пользователя alice в CedrusData Catalog и предоставьте ему роль builtin.iceberg-catalog.data-owner:

docker exec -it example-catalog catalog principal create \
  --principal-name alice

docker exec -it example-catalog catalog role grant \
  --principal-name alice \
  --role-name builtin.iceberg-catalog.data-owner

Пользователь alice теперь имеет необходимые права доступа. Выполните ряд команд SQL:

CREATE SCHEMA IF NOT EXISTS ice.hr;
DROP TABLE IF EXISTS ice.hr.employee;
CREATE TABLE ice.hr.employee(id BIGINT, name VARCHAR(100));
INSERT INTO ice.hr.employee VALUES (1, 'John');
SELECT * FROM ice.hr.employee;

Пройдите в консоль MinIO http://localhost:9001 (имя пользователя accesskey, пароль secretkey), и ознакомьтесь с созданными файлам Iceberg в директории ice-bucket/hr/employee.
Получите список таблиц Iceberg через утилиту командной строки CedrusData Catalog:
```
docker exec -it example-catalog catalog iceberg table list
```
(при необходимости) Остановите контейнер CedrusData:
```
docker rm -f example-cedrusdata
```
Очистите остальные ресурсы, следуя последнему шагу инструкции.