Подключение из CedrusData#
CedrusData — это высокопроизводительная система для обработки больших данных на основе open-source проекта Trino.
Подключение к CedrusData Catalog из CedrusData происходит с помощью коннектора Iceberg.
Подготовка#
Убедитесь, что CedrusData Catalog содержит хотя бы один Iceberg каталог
Получите постоянный или временный токен доступа CedrusData Catalog
Конфигурация CedrusData#
Базовая конфигурация каталога Iceberg REST Catalog в CedrusData для подключения к CedrusData Catalog приведена ниже:
iceberg.catalog.type=rest
iceberg.rest-catalog.uri=<адрес_CedrusData_Catalog>
iceberg.rest-catalog.warehouse=<имя_каталога_Iceberg_в_CedrusData_Catalog>
iceberg.rest-catalog.security=oauth2
iceberg.rest-catalog.oauth2.<тип_аутентификации>=<токен_доступа_CedrusData_Catalog>
iceberg.rest-catalog.session=<тип_сессии>
Где:
<адрес_CedrusData_Сatalog>
— адрес, по которому доступен Iceberg REST Catalog интерфейс CedrusData Catalog (http(s)://host[:port]/catalog/iceberg
)<имя_каталога_Iceberg_в_CedrusData_Catalog>
— имя объекта Iceberg catalog, зарегистрированного в CedrusData Catalog<тип_аутентификации>
— механизм аутентификации в CedrusData Catalog (credential
илиtoken
)<токен_доступа_CedrusData_Catalog>
— токен доступа CedrusData Catalog: постоянный токен доступа для типа аутентификацииcredential
; постоянный иди временный токен доступа для типа аутентификацииtoken
<тип_сессии>
—none
, чтобы выполнять команды от системного пользователя;user
— чтобы осуществлять имперсонацию пользователей CedrusData в CedrusData Catalog (в этом случае<тип_аутентификации>
должен иметь значениеcredential
).
Кроме этого, вы должны задать конфигурацию файловой системы для доступа к файловой системе. В конце документа приведен пример полной конфигурации для доступа к S3-совместимой файловой системе.
Пример#
Инструкции ниже описывают, как интегрировать локальный экземпляр CedrusData с CedrusData Catalog.
Создайте файловую систему CedrusData Catalog на основе MinIO согласно инструкциям. Не останавливайте Docker-контейнеры.
Создайте Iceberg каталог с именем
ice_prod
в CedrusData Catalog:docker exec -it example-catalog catalog iceberg catalog create \ --catalog-name ice_prod \ --file-system-name minio \ --file-system-location s3://ice-bucket
Запустите Docker-контейнер CedrusData. Мы передадим ключи MinIO и токен доступа CedrusData Catalog в качестве переменных окружения, чтобы нам не писать их в явном виде в дальнейшем:
CATALOG_ACCESS_TOKEN=$(docker exec example-catalog cat /data/catalog/admin-access-token) && \ docker run -d \ --name example-cedrusdata \ --network=example-network \ -e CATALOG_MANAGEMENT=cedrusdata_dynamic \ -e CATALOG_ACCESS_TOKEN=$CATALOG_ACCESS_TOKEN \ -e MINIO_ACCESS_KEY=accesskey \ -e MINIO_SECRET_KEY=secretkey \ -p 8080:8080 \ cr.yandex/crpjtvqf29mpabhmrf1s/cedrusdata:458-1
Откройте SQL-редактор CedrusData по адресу http://localhost:8080/cedrus-ui. В окне авторизации задайте имя пользователя
alice
.Создайте новый каталог
ice
:CREATE CATALOG ice USING iceberg WITH ( "iceberg.catalog.type" = 'REST', "iceberg.rest-catalog.uri" = 'http://example-catalog:9080/catalog/iceberg', "iceberg.rest-catalog.warehouse" = 'ice_prod', "iceberg.rest-catalog.security" = 'oauth2', "iceberg.rest-catalog.oauth2.credential" = '${ENV:CATALOG_ACCESS_TOKEN}', "iceberg.rest-catalog.session" = 'user', "fs.hadoop.enabled" = 'false', "fs.native-s3.enabled" = 'true', "s3.endpoint" = 'http://example-minio:9000', "s3.region" = 'us-east-1', "s3.path-style-access" = 'true', "s3.aws-access-key" = '${ENV:MINIO_ACCESS_KEY}', "s3.aws-secret-key" = '${ENV:MINIO_SECRET_KEY}' );
Попробуйте отобразить список схем. CedrusData вернет ошибку, так как мы включили имперсонацию (
iceberg.rest-catalog.session=user
), но пользовательalice
не зарегистрирован в CedrusData Catalog:SHOW SCHEMAS IN ice;
Error listing schemas for catalog ice: Malformed request: unauthorized_client: Authentication failed
Создайте пользователя
alice
в CedrusData Catalog и предоставьте ему рольbuiltin.iceberg-catalog.data-owner
:docker exec -it example-catalog catalog principal create \ --principal-name alice docker exec -it example-catalog catalog role grant \ --principal-name alice \ --role-name builtin.iceberg-catalog.data-owner
Пользователь
alice
теперь имеет необходимые права доступа. Выполните ряд команд SQL:CREATE SCHEMA IF NOT EXISTS ice.hr; DROP TABLE IF EXISTS ice.hr.employee; CREATE TABLE ice.hr.employee(id BIGINT, name VARCHAR(100)); INSERT INTO ice.hr.employee VALUES (1, 'John'); SELECT * FROM ice.hr.employee;
Пройдите в консоль MinIO http://localhost:9001 (имя пользователя
accesskey
, парольsecretkey
), и ознакомьтесь с созданными файлам Iceberg в директорииice-bucket/hr/employee
.Получите список таблиц Iceberg через утилиту командной строки CedrusData Catalog:
docker exec -it example-catalog catalog iceberg table list
(при необходимости) Остановите контейнер CedrusData:
docker rm -f example-cedrusdata
Очистите остальные ресурсы, следуя последнему шагу инструкции.