在scala中创建rdd[(immutablebyteswritable，result)]

dauxcl2d 于 2021-06-09 发布在 Hbase

关注(0)|答案(1)|浏览(371)

我正在做一个单元测试，需要创建一个 RDD[(ImmutableBytesWritable, Result)] . 数据只包含唯一的 id 一个非唯一的 value 柱。
我可以使用 toDF ，并将其转换为 RDD[Row] ; 但我很难把它Map到 RDD[(ImmutableBytesWritable, Result)] .

val values = List((1, 1234), (2, 123), (3, 1234))
import spark.implicits._
val df = values.toDF("id", "value")
val counts : RDD[(ImmutableBytesWritable, Result)] = df.rdd.map(
  row => (new ImmutableBytesWritable(), Result.create(...))
)

谢谢您！

hbase scala rdd apache-spark

来源：https://stackoverflow.com/questions/51733485/creating-an-rddimmutablebyteswritable-result-in-scala

1条答案

按热度按时间

vmpqdwk31#

我不使用hbase，但考虑到您试图构建的签名，我想到了这个。试试看。
我使用cellutil创建了一个单元格来生成结果。

import org.apache.hadoop.hbase.{Cell, CellUtil}
import scala.collection.JavaConversions._
import scala.collection.mutable.ListBuffer
import scala.math.BigInt
import org.apache.spark._
import org.apache.spark.rdd._
import org.apache.spark.sql._
import org.apache.hadoop.hbase.client.Result
import org.apache.hadoop.hbase.io.ImmutableBytesWritable
object Practice extends App {
  val sparkConfig = new SparkConf().setAppName("test").setMaster("local[*]")
  val ss = SparkSession.builder().config(sparkConfig).getOrCreate()
  val values = Seq((1, 1234), (2, 123), (3, 1234))
  import ss.implicits._
  val df = values.toDF("id", "value")
  val counts: RDD[(ImmutableBytesWritable, Result)] = df.rdd.map{ row =>
    val key = row.getAs[Int]("id")
    val keyByteArray = BigInt(key).toByteArray
    val ibw = new ImmutableBytesWritable()
    ibw.set(keyByteArray)
    val value = row.getAs[Int]("value")
    val valueByteArray = BigInt(value).toByteArray
    val cellList = List(CellUtil.createCell(valueByteArray))
    val cell: java.util.List[Cell] = ListBuffer(cellList: _*)
    val result = Result.create(cell)
    (ibw, result)
  }
}

打印结果，这并不意味着一个好的答案，给你这个：

KeyValue(03,keyvalues={\x04\xD2//LATEST_TIMESTAMP/Maximum/vlen=0/seqid=0})
KeyValue(01,keyvalues={\x04\xD2//LATEST_TIMESTAMP/Maximum/vlen=0/seqid=0})
KeyValue(02,keyvalues={{//LATEST_TIMESTAMP/Maximum/vlen=0/seqid=0})

展开查看全部

赞(0）回复(0）举报 2021-06-09

我来回答

在scala中创建rdd[(immutablebyteswritable，result)]

1条答案

相关问题

热门标签

最新问答