我目前正在尝试Spark流。我已经能够获得所需的结果,但现在我只是在终端上打印如下:
myResults.print()
将结果打印到终端。我试图实现的是一个类似于此的体系结构。是否有任何方法可以将这些结果写入数据库中的表中。我怎样才能做到这一点,我应该使用哪个数据库?
sqyvllje1#
我该怎么做使用foreachpartition并编写一个voidfunction,保存到所选的数据源。我应该使用哪个数据库?你在玩什么?你打算怎么处理这些数据?一根绳子有多长?
2w3kk1z52#
我应该使用哪个数据库??好吧,这完全取决于你对数据的要求,一旦数据被持久化到磁盘上,你想对它做什么。您可以选择任何适合您需要的数据库,从mysql、oracle、mongodb等,也可以将其保存到hadoop文件系统中。我该怎么做??您可以使用spark map函数遍历所有数据,并将其插入到您选择的数据库中。喜欢
statuses.foreach(new VoidFunction<String>() { @Override public Void call(String s) throws Exception { //You Code to parse the String and insert into the database of your choice. } });
希望有帮助
2条答案
按热度按时间sqyvllje1#
我该怎么做
使用foreachpartition并编写一个voidfunction,保存到所选的数据源。
我应该使用哪个数据库?
你在玩什么?你打算怎么处理这些数据?一根绳子有多长?
2w3kk1z52#
我应该使用哪个数据库??
好吧,这完全取决于你对数据的要求,一旦数据被持久化到磁盘上,你想对它做什么。您可以选择任何适合您需要的数据库,从mysql、oracle、mongodb等,也可以将其保存到hadoop文件系统中。
我该怎么做??
您可以使用spark map函数遍历所有数据,并将其插入到您选择的数据库中。喜欢
希望有帮助