hadoop最近引入了rest加密（hdfs-6134）。我想知道spark是否也支持它？我的意思是spark能处理以加密格式存储在hdfs中的数据吗？
ntjbwcob1#
是的，spark将能够访问数据，而无需对应用程序代码进行任何更改。数据对应用程序是透明加密的，这意味着所有javaapi和命令行接口都像以前一样工作，没有任何更改。该框架将采取加密技术，而不会打扰你。以下是对文档的引用：hdfs实现透明的端到端加密。一旦配置，从hdfs读取和写入的数据将被透明地加密和解密，而无需更改用户应用程序代码。http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/transparentencryption.html但是，您需要添加/修改一些配置。这是一个成功的例子。另请参见blog.cloudera.com/blog/2015/01/new-in-cdh-5-3-transparent-encryption-in-hdfs
1条答案
按热度按时间ntjbwcob1#
是的，spark将能够访问数据，而无需对应用程序代码进行任何更改。数据对应用程序是透明加密的，这意味着所有javaapi和命令行接口都像以前一样工作，没有任何更改。该框架将采取加密技术，而不会打扰你。
以下是对文档的引用：
hdfs实现透明的端到端加密。一旦配置，从hdfs读取和写入的数据将被透明地加密和解密，而无需更改用户应用程序代码。
http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/transparentencryption.html
但是，您需要添加/修改一些配置。这是一个成功的例子。
另请参见blog.cloudera.com/blog/2015/01/new-in-cdh-5-3-transparent-encryption-in-hdfs