什么是i/o差异应用于云存储或hdfs?

lc8prwob  于 2021-07-15  发布在  Hadoop
关注(0)|答案(2)|浏览(379)

根据谷歌云文档,
云存储可能会增加i/o差异。在许多情况下,云存储比hdfs具有更高的i/o方差。如果您有一致的i/o需求,例如由hbase或其他nosql数据库支持的应用程序,那么这可能会有问题。
有人能举个不一致的例子吗?这是什么意思?

nafvub8i

nafvub8i1#

这意味着访问速率是高度可变的,或者在一个阈值内不一致。
与专用文件系统相比,任何云对象存储都会有更大的差异,因为它们是多租户的
一般来说,评论是说你不会使用gcs作为数据库(特别是hbase,kudu,其他hadoop数据库)的后端,因为它会给这些通常低潜在的系统引入延迟,即使gcs可以用作hdfs存储层的备份

zy1mlcev

zy1mlcev2#

您可以将i/o转换为读(输入)和写(输出)当读或写速率适合于一个狭窄的范围时,您可以轻松地决定从网络带宽到ram和cpu的资源规划。
随着i/o差异的增加,读写速率的范围也越来越大,部署优化的基础结构变得越来越困难。
正如@onecricketeer所提到的,云存储中更大的差异可能是多租户和部署大量多样性服务的结果。
缓解此问题的一种方法是将服务划分为多个i/o差异范围(即:数据库、对象存储、文件存储等)。

相关问题