Архитектура#
CedrusData Catalog — это система управления метаданными для современных аналитических платформ с поддержкой протокола Iceberg REST Catalog.
Данный документ разъясняет высокоуровневую архитектуру каталога.
Архитектурная диаграмма#
Интерфейсы#
CedrusData Catalog имеет два интерфейса доступа:
Management REST API для выполнения административных команд. Работа с Management REST API осуществляется через утилиту командной строки
Iceberg REST API для выполнения функций REST-каталога Iceberg. Данный API используют движки обработки данных, такие как CedrusData или Apache Spark
Обработка запроса#
После получения команды каталог производит аутентификацию пользователя и авторизацию его действия.
В случае успешной авторизации ядро начинает выполнение команды. В процессе выполнения операции ядро может взаимодействовать с реляционной СУБД (SQLite или PostgreSQL) или распределенной файловой системой (S3 иди HDFS). Для обеспечения высокой производительности и уменьшения количества вызовов внешних систем, каталог активно кэширует метаданные в памяти.
Типы объектов#
CedrusData Catalog состоит из следующих объектов:
Principal — пользователь системы
File System — подключение к распределенной файловой системе S3 или HDFS
Iceberg — объекты Iceberg, с которыми пользователь взаимодействует через Iceberg REST API