转换矩阵格式，烫伤

xt0899hw 于 2021-06-04 发布在 Hadoop

关注(0)|答案(1)|浏览(378)

好的，在烫伤中，我们可以很容易地使用matrix，使用matrix api，这样就可以了：

val matrix = Tsv(path, ('row, 'col, 'val))
  .read
  .toMatrix[Long,Long,Double]('row, 'col, 'val)

但我怎样才能像我们通常写的那样，把矩阵从格式转换成那个格式呢？有什么优雅的方法吗？

1 2 3
3 4 5
5 6 7

到

我需要这个来对大尺寸的矩阵进行操作，但我不知道行和列的数量（如果file？例如nxm）。
我试着和你谈谈 TextLine( args("input") ) 但我不知道怎么数行号。我想在hadoop上转换矩阵，mb还有其他的格式怎么处理？烫伤可能吗？

hadoop Matrix scalding

来源：https://stackoverflow.com/questions/20020967/transforming-matrix-format-scalding

1条答案

按热度按时间

but5z9lq1#

下面的答案不是我的，而是op的答案。
以下是我所做的，输出了我想要的：

var prev: Long = 0
var pos: Long = 1

val zeroInt = 0
val zeroDouble = 0.0

TextLine( args("a") )
    .flatMap('line -> 'number)  { line : String => line.split("\\s+") }
    .mapTo(('offset, 'line, 'number) -> ('row, 'val)) { 
      (offset: Long, line: String, number: String) => 
        pos = if(prev == (offset + 1)) pos + 1 else 1
        prev = offset + 1
        (offset + 1, number) }
    .filter('row, 'col, 'v) { 
      (row: Long, col: String, v: String) => 
        val (row, col, v) = line
        (v != zeroInt.toString) && (v != zeroDouble.toString) }
    .write(Tsv(args("c")))

赞(0）回复(0）举报 2021-06-04

我来回答

转换矩阵格式，烫伤

1条答案

相关问题

热门标签

最新问答