根据谷歌云文档,云存储可能会增加i/o差异。在许多情况下,云存储比hdfs具有更高的i/o方差。如果您有一致的i/o需求,例如由hbase或其他nosql数据库支持的应用程序,那么这可能会有问题。有人能举个不一致的例子吗?这是什么意思?
nafvub8i1#
这意味着访问速率是高度可变的,或者在一个阈值内不一致。与专用文件系统相比,任何云对象存储都会有更大的差异,因为它们是多租户的一般来说,评论是说你不会使用gcs作为数据库(特别是hbase,kudu,其他hadoop数据库)的后端,因为它会给这些通常低潜在的系统引入延迟,即使gcs可以用作hdfs存储层的备份
zy1mlcev2#
您可以将i/o转换为读(输入)和写(输出)当读或写速率适合于一个狭窄的范围时,您可以轻松地决定从网络带宽到ram和cpu的资源规划。随着i/o差异的增加,读写速率的范围也越来越大,部署优化的基础结构变得越来越困难。正如@onecricketeer所提到的,云存储中更大的差异可能是多租户和部署大量多样性服务的结果。缓解此问题的一种方法是将服务划分为多个i/o差异范围(即:数据库、对象存储、文件存储等)。
2条答案
按热度按时间nafvub8i1#
这意味着访问速率是高度可变的,或者在一个阈值内不一致。
与专用文件系统相比,任何云对象存储都会有更大的差异,因为它们是多租户的
一般来说,评论是说你不会使用gcs作为数据库(特别是hbase,kudu,其他hadoop数据库)的后端,因为它会给这些通常低潜在的系统引入延迟,即使gcs可以用作hdfs存储层的备份
zy1mlcev2#
您可以将i/o转换为读(输入)和写(输出)当读或写速率适合于一个狭窄的范围时,您可以轻松地决定从网络带宽到ram和cpu的资源规划。
随着i/o差异的增加,读写速率的范围也越来越大,部署优化的基础结构变得越来越困难。
正如@onecricketeer所提到的,云存储中更大的差异可能是多租户和部署大量多样性服务的结果。
缓解此问题的一种方法是将服务划分为多个i/o差异范围(即:数据库、对象存储、文件存储等)。