自动驾驶 百亿文件存储解决方案

如果希望进一步了解,我们可以安排 1:1 会议为你介绍和演示

挑战与痛点

Why JuiceFS?

  1. JuiceFS 的元数据引擎可以水平扩展,没有单点瓶颈,并且可以管理单个命名空间下高达百亿级文件、百 PB 数据的存储;
  2. JuiceFS 提供分布式缓存集群,在混合云架构中提供快速、低延迟、高吞吐量的 I/O 访问。对于模型训练,JuiceFS 提供了数十 GiB/s 的读吞吐量,每秒可以读取数十万个文件,并且具有毫秒级的元数据响应时间;
  3. JuiceFS 完全兼容 POSIX 接口,因此无需对训练任务进行额外的适配,可以透明接入。JuiceFS 支持 AI Pipeline 上的各个环节,统一数据管理并提高效率;
  4. 适用于混合云、多云架构,JuiceFS 可以自动进行数据镜像以加速多地点团队之间的协作; 同时,JuiceFS 的内置的缓存功能,可大大降低企业对专线的依赖度;
  5. JuiceFS 借助对象存储作为底层数据存储,可以实现存储容量的弹性伸缩,并显著降低存储成本。且 JuiceFS 架构灵活,因此可以降低学习、维护和迁移成本。

JuiceFS 自动驾驶架构图
JuiceFS 自动驾驶架构图
自动驾驶 百亿文件存储解决方案

百亿级小文件存储,JuiceFS 在自动驾驶行业的最佳实践

自动驾驶是最近几年的热门领域,专注于自动驾驶技术的创业公司、新造车企业、传统车厂都在这个领域投入了大量的资源。本篇文章来自 JuiceFS 某自动驾驶行业客户的架构实践,在百亿规模小文件训练场景下进行了一系列成功的探索。
自动驾驶 百亿文件存储解决方案

JuiceFS 在自动驾驶行业多云架构中的实践

自动驾驶行业面临的数据量规模是前所未有的,从 2021 年开始,团队决定自建云原生存储平台,在综合考虑成本、容量弹性和性能等因素后,最终选择了基于 JuiceFS 自建存储底座。目前,存储平台已成功管理百亿文件,IOPS 达到 40 万,吞吐量近 40GB/s,性能水平与原商用存储相当,同时大幅减…

进一步了解,可以预约 Demo 演示