刘嘉承:从设计、实现和优化角度浅谈Alluxio元数据同步 DATE: 2024-05-03 10:11:32
导读 :今天分享的刘嘉题目是Alluxio元数据和数据的同步 ,从设计实现和优化的设计实现角度进行讨论。主要包括以下几个方面的和优化角内容 :
- Alluxio简介
- Alluxio的数据挂载
- Alluxio和底层存储的一致性
- Alluxio和UFS的元数据/数据同步
- 元数据同步的实现原理和优化
- 对不同场景的推荐配置
01
Alluxio简介
Alluxio是云原生的数据编排平台 ,通过解耦计算和存储层 ,度浅在中间产生了一个数据编排层 ,元数负责对上层计算应用隐藏底层的据同时间细节 。Alluxio提供了统一的刘嘉存储命名空间,在中间层提供了缓存和其他数据管理功能 。设计实现在下图可以看到有Spark、和优化角Hive 、度浅Map reduce这一类传统的元数Hadoop大数据计算应用、Presto 这种OLAP类型的据同数据分析,还有像Tensorflow、刘嘉Pytorch这样的设计实现AI应用 。存储层比较丰富,和优化角包括各种各样的存储 。
图1 Alluxio简介
下面是Alluxio用户列表,这些公司都公开展示了Alluxio的使用场景 。通过粗略分类,看到非常多的行业,包括互联网 、金融、电子商务、娱乐 、电信等 。感兴趣的同学可以关注公众号 ,上面有相关文章的汇总。