Подключение из CedrusData#

CedrusData — это высокопроизводительная система для обработки больших данных на основе open-source проекта Trino.

Подключение к CedrusData Catalog из CedrusData происходит с помощью коннектора Iceberg.

Подготовка#

  1. Убедитесь, что CedrusData Catalog содержит хотя бы один Iceberg каталог

  2. Получите постоянный или временный токен доступа CedrusData Catalog

Конфигурация CedrusData#

Базовая конфигурация каталога Iceberg REST Catalog в CedrusData для подключения к CedrusData Catalog приведена ниже:

iceberg.catalog.type=rest
iceberg.rest-catalog.uri=<адрес_CedrusData_Catalog>
iceberg.rest-catalog.warehouse=<имя_каталога_Iceberg_в_CedrusData_Catalog>
iceberg.rest-catalog.security=oauth2
iceberg.rest-catalog.oauth2.<тип_аутентификации>=<токен_доступа_CedrusData_Catalog>
iceberg.rest-catalog.session=<тип_сессии>

Где:

  • <адрес_CedrusData_Сatalog> — адрес, по которому доступен Iceberg REST Catalog интерфейс CedrusData Catalog (http(s)://host[:port]/catalog/iceberg)

  • <имя_каталога_Iceberg_в_CedrusData_Catalog> — имя объекта Iceberg catalog, зарегистрированного в CedrusData Catalog

  • <тип_аутентификации> — механизм аутентификации в CedrusData Catalog (credential или token)

  • <токен_доступа_CedrusData_Catalog> — токен доступа CedrusData Catalog: постоянный токен доступа для типа аутентификации credential; постоянный иди временный токен доступа для типа аутентификации token

  • <тип_сессии>none, чтобы выполнять команды от системного пользователя; user — чтобы осуществлять имперсонацию пользователей CedrusData в CedrusData Catalog (в этом случае <тип_аутентификации> должен иметь значение credential).

Кроме этого, вы должны задать конфигурацию файловой системы для доступа к файловой системе. В конце документа приведен пример полной конфигурации для доступа к S3-совместимой файловой системе.

Пример#

Инструкции ниже описывают, как интегрировать локальный экземпляр CedrusData с CedrusData Catalog.

  1. Создайте файловую систему CedrusData Catalog на основе MinIO согласно инструкциям. Не останавливайте Docker-контейнеры.

  2. Создайте Iceberg каталог с именем ice_prod в CedrusData Catalog:

    docker exec -it example-catalog catalog iceberg catalog create \
      --catalog-name ice_prod \
      --file-system-name minio \
      --file-system-location s3://ice-bucket
    
  3. Запустите Docker-контейнер CedrusData. Мы передадим ключи MinIO и токен доступа CedrusData Catalog в качестве переменных окружения, чтобы нам не писать их в явном виде в дальнейшем:

    CATALOG_ACCESS_TOKEN=$(docker exec example-catalog cat /data/catalog/admin-access-token) && \
    docker run -d \
      --name example-cedrusdata \
      --network=example-network \
      -e CATALOG_MANAGEMENT=cedrusdata_dynamic \
      -e CATALOG_ACCESS_TOKEN=$CATALOG_ACCESS_TOKEN \
      -e MINIO_ACCESS_KEY=accesskey \
      -e MINIO_SECRET_KEY=secretkey \
      -p 8080:8080 \
      cr.yandex/crpjtvqf29mpabhmrf1s/cedrusdata:458-1
    
  4. Откройте SQL-редактор CedrusData по адресу http://localhost:8080/cedrus-ui. В окне авторизации задайте имя пользователя alice.

  5. Создайте новый каталог ice:

    CREATE CATALOG ice USING iceberg 
    WITH (
      "iceberg.catalog.type" = 'REST',
      "iceberg.rest-catalog.uri" = 'http://example-catalog:9080/catalog/iceberg',
      "iceberg.rest-catalog.warehouse" = 'ice_prod',
      "iceberg.rest-catalog.security" = 'oauth2',
      "iceberg.rest-catalog.oauth2.credential" = '${ENV:CATALOG_ACCESS_TOKEN}',
      "iceberg.rest-catalog.session" = 'user',
      "fs.hadoop.enabled" = 'false',
      "fs.native-s3.enabled" = 'true',
      "s3.endpoint" = 'http://example-minio:9000',
      "s3.region" = 'us-east-1',
      "s3.path-style-access" = 'true',
      "s3.aws-access-key" = '${ENV:MINIO_ACCESS_KEY}',
      "s3.aws-secret-key" = '${ENV:MINIO_SECRET_KEY}'    
    );
    
  6. Попробуйте отобразить список схем. CedrusData вернет ошибку, так как мы включили имперсонацию (iceberg.rest-catalog.session=user), но пользователь alice не зарегистрирован в CedrusData Catalog:

    SHOW SCHEMAS IN ice;
    
    Error listing schemas for catalog ice: Malformed request: unauthorized_client: Authentication failed
    
  7. Создайте пользователя alice в CedrusData Catalog и предоставьте ему роль builtin.iceberg-catalog.data-owner:

    docker exec -it example-catalog catalog principal create \
      --principal-name alice
    
    docker exec -it example-catalog catalog role grant \
      --principal-name alice \
      --role-name builtin.iceberg-catalog.data-owner
    
  8. Пользователь alice теперь имеет необходимые права доступа. Выполните ряд команд SQL:

    CREATE SCHEMA IF NOT EXISTS ice.hr;
    DROP TABLE IF EXISTS ice.hr.employee;
    CREATE TABLE ice.hr.employee(id BIGINT, name VARCHAR(100));
    INSERT INTO ice.hr.employee VALUES (1, 'John');
    SELECT * FROM ice.hr.employee;
    
  9. Пройдите в консоль MinIO http://localhost:9001 (имя пользователя accesskey, пароль secretkey), и ознакомьтесь с созданными файлам Iceberg в директории ice-bucket/hr/employee.

  10. Получите список таблиц Iceberg через утилиту командной строки CedrusData Catalog:

    docker exec -it example-catalog catalog iceberg table list
    
  11. (при необходимости) Остановите контейнер CedrusData:

    docker rm -f example-cedrusdata
    

    Очистите остальные ресурсы, следуя последнему шагу инструкции.