Локальная файловая система#
CedrusData Catalog позволяет работать с файлами в локальной файловой системе. Для этого вы можете использовать коннектор Iceberg.
Возможна работа с любыми файловыми системами. Например, вы можете хранить файлы Iceberg на локальном диске, в памяти (tmpfs), сетевой файловой системе (NFS) или произвольной файловой системе, смонтированной через FUSE.
Примечание
Локальная файловая система должна быть доступна со всех узлов CedrusData. Например, вы можете использовать NFS с кластером CedrusData. В то же время, файловую систему, смонтированную на локальный диск или в память, можно использовать, только если кластер состоит их одного узла (совмещающего роль координатора и воркера), или если все узлы запущены на одном физическом сервере (например, для тестов).
Для начала работы с локальной файловой системой, задайте параметр cedrusdata.fs.native-local.enabled=true в конфигурации соответствующего каталога.
Разрешение путей#
При работе с локальной файловой системой, все явно задаваемые пути должны начинаться с local:///.
Обратите внимание на третий обязательный символ /.
Он указывает, что разрешение пути происходит от корня файловой системы, который определяется параметром cedrusdata.local.root-path.
Например, если корнем файловой системы является директория /home/user/data, то путь local:///path/to/file.parquet будет разрешен в /home/user/data/path/to/file.parquet.
Общая конфигурация#
Используйте параметры ниже для конфигурации локальной файловой системы.
Название |
Описание |
|---|---|
|
Включает нативную поддержку локальной файловой системы. Установите значение в |
|
Путь, относительно которого будет происходить разрешение путей к файлам. Можно передать абсолютный или относительный путь. Относительный путь будет разрешен относительно рабочей директории узла. Указанный путь должен существовать и быть директорией. Параметр является обязательным. |