scala—在另一个Dataframe中使用一个Dataframe的列

fjnneemd 于 2021-06-01 发布在 Hadoop

关注(0)|答案(1)|浏览(516)

我试图从一个Dataframe中读取数据并在另一个Dataframe中使用它。我怎么才能优雅地做呢？

val query = s"select distinct p_id, lower(regexp_replace(p_id,'[^a-zA-Z0-9]+','_')) as p_id_formatted, lower(regexp_extract(f_id,'^([^\\.]+)\\.?',1)) as f_id_formatted, column_name from default.rc_pcoders"
val run_query = sql(query)
val table_name = run_query.select(concat(lit("nepp"), lit("_"),$"p_id_formatted", lit("_") ,$"f_id_formatted ").alias("tablename"),$"column_name")

这给了我下面的输出，它本质上代表了一个表名

+------------------+-----------+
|tablename         |column_name|
+------------------+-----------+
|nepp_148hl16011_cm|cmtrt      |
|nepp_148hl16011_mh|mhaspe     |
|nepp_148hl16011_ae|aeputt     |
+------------------+-----------+

如何从每个表中获取列名？类似于（下面的查询不起作用）

val whole_query = sql("show columns in "table_name.tablename"")

hadoop scala apache-spark apache-spark-sql spark-dataframe

来源：https://stackoverflow.com/questions/49412427/using-the-columns-of-one-dataframe-in-another-dataframe

1条答案

按热度按时间

nhn9ugyo1#

首先，收集要加载的表的所有名称：

val tableNames = df.collect().map(row => row.getAs[String]("tablename")).toSeq

其次，获取对相应Dataframe的引用，将它们与它们的列名相关联

val sqlCtx: SQLContext = // your SQL context ref
val dfToColumns = tableNames.map(table => {
  val columnNames = sqlCtx.table(table).schema.fieldNames.toSeq
  (table, columnNames)
}).toMap
``` `dfToColumns` 是一个 `Map[String, Seq[String]]` 将Dataframe名称作为键，并将其各自列名的序列作为值。

赞(0）回复(0）举报 2021-06-01

我来回答

scala—在另一个Dataframe中使用一个Dataframe的列

1条答案

相关问题

热门标签

最新问答