JuiceFS 社区版 v1.1- Beta 发布,新增五个实用功能

2023-06-12
Juicedata

JuiceFS v1.1-Beta 版本正式发布啦!

这是一个功能丰富的版本,带来了许多实用的新功能和改进。在这个版本中我们新增了以下功能:目录配额:为目录设置配额限制,控制其大小和文件数 
目录克隆:快速地复制目录及其内容,节省时间和空间 
一键恢复回收站文件:一次性地恢复某段时间内所有被删除的文件,无需逐个操作
一键收集诊断信息:一键生成诊断报告,方便排查问题和反馈意见
快速查看用量信息:快速查看存储空间和文件数的统计信息此外,我们还新增了一个元数据引擎 FoundationDB,一个支持分布式事务的 Key-Value 存储。本次版本,共有 57 位社区贡献者参与,贡献了 726 次提交,感谢每一位的付出 下面,我们将详细介绍这个版本的新功能和变化。

功能1:目录配额

配额可以用来限制文件系统中存储空间的最大可用量,防止因个别用户占用过多而影响整个系统的稳定性。在之前版本中,JuiceFS 只支持文件系统级别的配额。这样一来,当这个文件系统被多用户共享使用时,管理员就无法有效地控制每个用户的使用量。因此,在 v1.1 版本中,我们为 JuiceFS 增加了目录配额的功能。具体来说,管理员可以根据需要为任意目录设置一个配额阈值(硬限制),之后如果此目录的使用量达到或超过该阈值,任何试图新建或扩展文件的请求都将失败,直到用户删除部分已有文件或管理员提高配额阈值。另外,为目录设置配额还有一个好处,就是可以让 JuiceFS 跟踪并记录它的使用情况,并在需要时快速获取此目录及其子目录下所有文件的用量统计信息。目录配额的管理需要借助于新的 juicefs quota 命令,其设置参数与现有的文件系统配额一致,通过 --capacity <val> 来限制容量和通过 --inodes 来限制文件数。例如:

$ juicefs quota set $METAURL --path /test --capacity 1
+-------+---------+---------+------+-----------+-------+-------+
|  Path |   Size  |   Used  | Use% |   Inodes  | IUsed | IUse% |
+-------+---------+---------+------+-----------+-------+-------+
| /test | 1.0 GiB | 1.6 MiB |   0% | unlimited |   314 |       |
+-------+---------+---------+------+-----------+-------+-------+

以上命令为 /test 目录设置了 1 GiB 的容量配额,且同时可以看到该目录下已使用量为 1.6 MiB。由于为目录新建配额时,需要递归统计该目录下当前的使用量,因此为已有的大目录设置配额可能需要等待较长时间。如果想查询某个目录的配额及其当前用量,可以使用 quota get 子命令,如:

$ juicefs quota get $METAURL --path /test
+-------+---------+---------+------+-----------+-------+-------+
|  Path |   Size  |   Used  | Use% |   Inodes  | IUsed | IUse% |
+-------+---------+---------+------+-----------+-------+-------+
| /test | 1.0 GiB | 1.6 MiB |   0% | unlimited |   314 |       |
+-------+---------+---------+------+-----------+-------+-------+

此外,也可以使用 quota ls 子命令来查看所有已经设置的配额。值得注意的是,目录配额的统计并不是实时更新的,而是有一定的延迟。这样做是为了尽量减少对业务性能的影响。因此,可能出现这样的情况:目录用量已经达到配额阈值,但部分客户端在短时间(10 秒级别)内仍然可以写入。同时,如果客户端进程异常退出,其临时记录的用量信息可能还没有同步给元数据引擎,导致信息不准确。为了解决这个问题,JuiceFS 提供了 quota check 子命令,可以在必要时检查并修复配额中的统计值,如:

$ juicefs quota check $METAURL --path /test --repair
+-------+---------+---------+------+-----------+-------+-------+
|  Path |   Size  |   Used  | Use% |   Inodes  | IUsed | IUse% |
+-------+---------+---------+------+-----------+-------+-------+
| /test | 1.0 GiB | 3.2 MiB |   0% | unlimited |   317 |       |
+-------+---------+---------+------+-----------+-------+-------+

文件数的限制与其类似,在此不再赘述,具体使用可参考文档

功能2:目录克隆

有时候,用户可能需要将一些文件复制出来用于其他目的。如果文件量不大,可以直接用 cp 命令来完成。但是,如果文件量很大,这样做就会耗费很长时间,并且涉及到大量的对象存储数据复制。为了解决这个问题,JuiceFS 新增了目录克隆的功能,可以快速复制指定目录下的所有文件。新复制出来的文件有自己的元数据,但是和原文件共享数据块,只是将其引用计数加一。克隆完成后,两边的文件都是独立的,可以各自修改而不会相互影响。由于克隆过程只涉及到元数据操作,而不需要复制数据,因此速度会比普通的 cp 命令快很多。执行克隆的命令示例如下:

$ juicefs clone /mnt/jfs/dir1 /mnt/jfs/dir2

功能3:一键恢复回收站文件

JuiceFS 的回收站中,文件按照被删除的时间归类,并且附加了原来父目录的索引号,用于在需要时找回其原来的位置。但是,在实际使用中,我们发现利用这些信息重新构建目录结构比较麻烦,只适合手动恢复少量的文件。为了解决这个问题,JuiceFS 在这个版本中新增了 juicefs restore 命令来帮助整理这些文件,例如:

$ juicefs restore redis://localhost/1 2023-05-10-01 --put-back

以上命令可以将 .trash/2023-05-10-01 中的所有文件按其被删除时的目录结构放回原位置。如果原父目录不存在或者遇到有冲突的文件名,则会打印告警日志并跳过,用户后续可以再手动将其恢复到想要的位置。

功能4:一键收集诊断信息

当 JuiceFS 在运行中出现故障时,新接触的用户往往不知道该如何分析问题原因。因此,在这个版本中 JuiceFS 增加了 juicefs debug 命令来帮助一键收集关键的现场信息,包括主机环境、软件版本和进程运行时状态等,如:

$ juicefs debug /mnt/jfs --out-dir /tmp/jfs-debug

待命令完成退出后,用户可以在 /tmp/jfs-debug 中找到一个以挂载点名称和时间戳命名的 .zip 文件,里面即包含此次收集的诊断信息。

功能5:快速查看用量统计

在生产环境中,管理员经常需要定期查看文件系统的使用量情况,或者找出当前系统中最占用空间的目录等。在 JuiceFS 之前版本中,这需要管理员手动统计多个目录的用量(比如执行 du 命令),然后进行排序筛选,这样做既麻烦又可能耗时很长。为了解决这个问题,在这个版本中,JuiceFS 新增了 juicefs summary 命令来快速查看指定目录下的用量统计。例如:

$ juicefs summary /mnt/jfs --depth 1 --entries 5
+------+---------+------+-------+
| PATH |   SIZE  | DIRS | FILES |
+------+---------+------+-------+
| /    | 176 MiB |    9 |    20 |
| d2/  |  43 MiB |    1 |     5 |
| d4/  |  40 MiB |    3 |     4 |
| d5/  |  40 MiB |    1 |     4 |
| d3/  |  23 MiB |    1 |     4 |
| d1/  |  20 MiB |    1 |     2 |
| ...  |  10 MiB |    1 |     1 |
+------+---------+------+-------+

上述命令会统计 /mnt/jfs 下所有一级目录的使用量,并根据 SIZE 从大到小排序后显示最高的 5 项。

其他新功能

在这个版本中,JuiceFS 还增加了一些其他功能来提高系统的安全性与易用性,包括:

  1. 1. 在 mount 时通过 --root-squash 选项来将 root 用户映射为一个非特权用户,以此来减少权限安全隐患和防止误操作
  2. 2. 在 mount 时通过 --enable-ioctl 选项来使能对 ioctl 的部分支持,目前能用来设置一些特殊标记位来控制文件的行为,如 append only (a) 和 immutable (i)
  3. 3. 在使用 juicefs sync 工具时,新支持了 jfs:// 前缀,可以在不挂载的情况下就直接将对象存储与 JuiceFS 内文件同步

新的元数据引擎

在此版本中,JuiceFS 还引入了一种新的元数据引擎 FoundationDB。这是一款由 Apple 公司开源的分布式数据库,能够在多个集群服务器上高效地存储和管理大规模的结构化数据。它具有高性能、高可扩展性和高容错性的特点。要使用 FoundationDB 作为 JuiceFS 的元数据引擎,只需将 Meta-URL 设置为:fdb://<cluster_file_path>?prefix=<prefix>。其中 cluster_file_path 是 FoundationDB 的配置文件路径,用于连接其服务端。而 prefix 是一个用户自定义的字符串(与使用 TiKV 类似),可以在多个文件系统或者应用共用一个 FoundationDB 集群时,区分不同的元数据空间。示例如下:

$ juicefs format \
    --storage s3 \
    ... \
    "fdb:///etc/foundationdb/fdb.cluster?prefix=jfs" \
    pics

具体使用细节可以参考 FoundationDB 文档

以上就是 JuiceFS v1.1-Beta 版本带来的新功能和改进,v1.1-Beta 下载地址

希望这些变化能够让你在使用 JuiceFS 时感到更加轻松、便捷和高效。我们也期待你提供宝贵的反馈和意见。

相关博客

极限挑战:使用 Go 打造百亿级文件系统的实践之旅

2024-02-02
本文介绍了 JuiceFS 在设计元数据引擎时所做的关键决策,并详细介绍了内存池、自主管理小块内存、压缩空闲目录以及优化小文件格式这 4 个内存优化手段。

JuiceFS 目录配额功能设计详解

2023-10-09
在本文分享了设计目录配额关键功能时的不同抉择及其优缺点,与最终的实现方案,为想深入了解目录配额或有相似开发需求的用户提供参考。