有谁能告诉我学习hadoop需要懂java吗？如果有人在hadoop上工作，那么请告诉我在hadoop上找工作需要什么？hadoop的确切用途是什么？hadoop之前有什么？hdfs和gfs有什么区别？我知道有很多问题，但如果有人能帮忙的话。。那对我来说太好了。谢谢大家。
ifmq2ha21#
hadoop的确切用途是什么？apachehadoop软件库是一个框架，它允许使用简单的编程模型跨计算机集群分布式存储和处理大型数据集。请参阅apachehadoop上的文档hadoop提供了高度可扩展、经济高效、快速、灵活和有弹性的数据存储和分析平台。学习hadoop需要懂java吗？不需要。但是您正在研究map reduce作业的优化，java提供了这种灵活性。如果您对java不感兴趣，可以选择pig：一种用于并行计算的高级数据流语言和执行框架。它推荐给那些精通python等脚本语言的人。hive：提供数据摘要和特殊查询的数据仓库基础设施。它推荐给那些在sql编程方面是Maven的人，因为语法与sql相似 PIG 以及 HIVE 隐藏Map的复杂性，减少开发人员的工作。它们提供了更高级别的抽象来解决业务问题。 PIG 以及 HIVE ，都将脚本/查询转换为一系列map reduce作业。在性能方面，与用java实现的传统map-reduce作业相比，它们效率不高。请参阅本文以了解java替代方案在工作方面，这取决于您的专业知识和您在hadoop框架中选择的生态系统。很难回答。在hadoop之前，我们还没有最好的框架/平台，它可以为bigdata提供hadoop相同的优势。要实现字数计算类型的程序，您必须编写脚本，执行并合并来自datanodes的结果。您可以看到gfs和hdfs在gfs和hdfs之间的比较。在hdfs设计中深入了解hdfs
PIG
HIVE
67up9zun2#
hadoop是一个分布式计算框架。它是一个事实上的数据管理标准（分布式存储+分布式处理）。因此hadoop是一种面向所有参与数据管理生命周期（捕获、存储、处理和报告）的人的技术。hadoop由以下角色使用：管理员开发商数据分析员数据科学家业务分析师职能顾问等。。。虽然hadoop及其大部分生态系统都是用java编写的，但是企业中的各种人都在使用它。因此，我们需要多个界面来针对所有的观众，并增加适应性。hadoop项目管理委员会发起了几个项目来支持非java程序员、非程序员、sql程序员等。。。以下是支持各种受众的实用程序和项目：hadoop streaming：它是hadoop提供的一个实用程序，允许非java编程人员使用其他语言（如perl、php、python、shell、r、c、c++、scala、groovy、ruby等）编写mapreduce程序。。hadoop流=hadoop+控制台（stdout/stdin）+外部程序。与原生javamapreduce相比，hadoop流有点慢，但是对于集成用非java编写的遗留代码非常有用，而且对于将数据科学工具包（如r和python）与hadoop集成也很有用。有几个基于hadoop流媒体开发的项目：rhadoop:r和hadoop小飞象：python+hadoopmrjob:python+hadoophadoop管道：它是hadoop提供的一个实用工具，允许非java编程人员使用c++编写mapreduce程序。pydoop：这是一个用python编写mapreduce程序的python模块。它在内部使用hadoop管道。所以它是hadoop管道上的python Package 器。pig：它提供了一种类似脚本的语言pig-latin，通过执行一系列转换和聚合来分析数据。pig拉丁语易于学习，是一种数据流语言。对于没有任何编程背景的人来说，它是一个合适的工具。hive/impala/drill/tajo/presto/mrql：所有这些都是hadoop上的分布式sql引擎。它们提供了一种类似sql的查询语言来运行即席查询、数据汇总。它是sql程序员、数据库分析师、数据仓库程序员的好选择。以上所有项目和实用程序都允许非java程序员使用自己选择的语言编写数据分析。hadoop和java有很大的优势，可以完全控制数据的键值对。结论是，我们可以用hadoop进行数据分析，而不需要java编程。
up9lanfz3#
hadoop需要java吗？hadoop是用java构建的，但是使用hadoop并不需要java。如果您了解java，那么您可以在mapreduce上编写代码。如果你不熟悉java。您可以将您的技能集中在pig和hive上，以执行相同的功能。它们是类似的工具，比如sql，但编写语法的方式不同。如果您正在编写python、c++等后台代码，则可以使用JythonforPython等库将这些代码转换为java。hadoop需要多少java？如果您只想为hadoop学习java，那么下面是您必须学习的主题列表：1。基本的核心java-变量，类，函数，继承，包，处理错误，流控制，数组，api一些有用的字符串函数//。要更详细地了解您需要在java中学习哪些主题，请查看本文：https://www.dezyre.com/article/-how-much-java-is-required-to-learn-hadoop/103要了解gfs和hdfs，请查看以下文章：http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.454.4159&rep=rep1&type=pdf
3条答案
按热度按时间ifmq2ha21#
hadoop的确切用途是什么？
apachehadoop软件库是一个框架，它允许使用简单的编程模型跨计算机集群分布式存储和处理大型数据集。请参阅apachehadoop上的文档
hadoop提供了高度可扩展、经济高效、快速、灵活和有弹性的数据存储和分析平台。
学习hadoop需要懂java吗？
不需要。但是您正在研究map reduce作业的优化，java提供了这种灵活性。
如果您对java不感兴趣，可以选择
pig：一种用于并行计算的高级数据流语言和执行框架。它推荐给那些精通python等脚本语言的人。
hive：提供数据摘要和特殊查询的数据仓库基础设施。它推荐给那些在sql编程方面是Maven的人，因为语法与sql相似
PIG以及HIVE隐藏Map的复杂性，减少开发人员的工作。它们提供了更高级别的抽象来解决业务问题。PIG以及HIVE，都将脚本/查询转换为一系列map reduce作业。在性能方面，与用java实现的传统map-reduce作业相比，它们效率不高。请参阅本文以了解java替代方案
在工作方面，这取决于您的专业知识和您在hadoop框架中选择的生态系统。很难回答。
在hadoop之前，我们还没有最好的框架/平台，它可以为bigdata提供hadoop相同的优势。要实现字数计算类型的程序，您必须编写脚本，执行并合并来自datanodes的结果。
您可以看到gfs和hdfs在gfs和hdfs之间的比较。在hdfs设计中深入了解hdfs
67up9zun2#
hadoop是一个分布式计算框架。它是一个事实上的数据管理标准（分布式存储+分布式处理）。因此hadoop是一种面向所有参与数据管理生命周期（捕获、存储、处理和报告）的人的技术。hadoop由以下角色使用：
管理员
开发商
数据分析员
数据科学家
业务分析师
职能顾问
等。。。
虽然hadoop及其大部分生态系统都是用java编写的，但是企业中的各种人都在使用它。因此，我们需要多个界面来针对所有的观众，并增加适应性。
hadoop项目管理委员会发起了几个项目来支持非java程序员、非程序员、sql程序员等。。。
以下是支持各种受众的实用程序和项目：
hadoop streaming：它是hadoop提供的一个实用程序，允许非java编程人员使用其他语言（如perl、php、python、shell、r、c、c++、scala、groovy、ruby等）编写mapreduce程序。。
hadoop流=hadoop+控制台（stdout/stdin）+外部程序。
与原生javamapreduce相比，hadoop流有点慢，但是对于集成用非java编写的遗留代码非常有用，而且对于将数据科学工具包（如r和python）与hadoop集成也很有用。
有几个基于hadoop流媒体开发的项目：
rhadoop:r和hadoop
小飞象：python+hadoop
mrjob:python+hadoop
hadoop管道：它是hadoop提供的一个实用工具，允许非java编程人员使用c++编写mapreduce程序。
pydoop：这是一个用python编写mapreduce程序的python模块。它在内部使用hadoop管道。所以它是hadoop管道上的python Package 器。
pig：它提供了一种类似脚本的语言pig-latin，通过执行一系列转换和聚合来分析数据。pig拉丁语易于学习，是一种数据流语言。对于没有任何编程背景的人来说，它是一个合适的工具。
hive/impala/drill/tajo/presto/mrql：所有这些都是hadoop上的分布式sql引擎。它们提供了一种类似sql的查询语言来运行即席查询、数据汇总。它是sql程序员、数据库分析师、数据仓库程序员的好选择。
以上所有项目和实用程序都允许非java程序员使用自己选择的语言编写数据分析。hadoop和java有很大的优势，可以完全控制数据的键值对。
结论是，我们可以用hadoop进行数据分析，而不需要java编程。
up9lanfz3#
hadoop需要java吗？
hadoop是用java构建的，但是使用hadoop并不需要java。如果您了解java，那么您可以在mapreduce上编写代码。如果你不熟悉java。您可以将您的技能集中在pig和hive上，以执行相同的功能。它们是类似的工具，比如sql，但编写语法的方式不同。如果您正在编写python、c++等后台代码，则可以使用JythonforPython等库将这些代码转换为java。
hadoop需要多少java？
如果您只想为hadoop学习java，那么下面是您必须学习的主题列表：1。基本的核心java-变量，类，函数，继承，包，处理错误，流控制，数组，api一些有用的字符串函数//。
要更详细地了解您需要在java中学习哪些主题，请查看本文：https://www.dezyre.com/article/-how-much-java-is-required-to-learn-hadoop/103
要了解gfs和hdfs，请查看以下文章：http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.454.4159&rep=rep1&type=pdf