rust 并行json反序列化失败，但json有效

3lxsmp7m 于 2023-08-05 发布在其他

关注(0)|答案(1)|浏览(116)

我想使用rayon并行反序列化json值。来自serde-json示例的有效json在尝试在par_iter内部进行反序列化时失败，尽管在没有并行化的情况下正确解析。这就是代码：

use rayon::prelude::*; // 1.7.0
use serde_json::{Result, Value};

fn main() -> Result<()> {
    let data = r#"
        {
            "name": "John Doe",
            "age": 43,
            "phones": [
                "+44 1234567",
                "+44 2345678"
            ]
        }"#;
    let v: Value = serde_json::from_str(data)?;
    println!("Please call {} at the number {}", v["name"], v["phones"][0]);

    let mut batch = Vec::<String>::new();
    batch.push(data.to_string());
    batch.push(data.to_string());
    
    let _values = batch.par_iter()
        .for_each(|json: &String| {
            serde_json::from_str(json.as_str()).unwrap()
        });
        
    Ok(())
}

字符串
这就是错误

thread 'thread '<unnamed>' panicked at 'called `Result::unwrap()` on an `Err` value: Error("invalid type: map, expected unit", line: 2, column: 8)', src/main.rs:23:49

型
Link to the Playground.
IIRC，我见过其他在内部使用unwrap的par_iter示例。不推荐这样做吗？在我的例子中，我想这样做，因为我需要程序在输入无效时死机。

rust

来源：https://stackoverflow.com/questions/76714607/parallel-json-deserialization-fails-with-valid-json

1条答案

按热度按时间

eanckbw91#

serde_json::from_str根据写入的变量类型自动确定其输出类型。但是，在您的示例中，for_each不期望返回值，因此from_str尝试将其反序列化为()。
将map().collect()与: Vec<Value>注解一起使用可以实现以下功能：

use rayon::prelude::*; // 1.7.0
use serde_json::{Result, Value};

fn main() -> Result<()> {
    let data = r#"
        {
            "name": "John Doe",
            "age": 43,
            "phones": [
                "+44 1234567",
                "+44 2345678"
            ]
        }"#;
    let v: Value = serde_json::from_str(data)?;
    println!("Please call {} at the number {}", v["name"], v["phones"][0]);

    let mut batch = Vec::<String>::new();
    batch.push(data.to_string());
    batch.push(data.to_string());

    let values: Vec<Value> = batch
        .par_iter()
        .map(|json: &String| serde_json::from_str(json.as_str()).unwrap())
        .collect();

    println!("Values:\n{:#?}", values);

    Ok(())
}

个字符
虽然说实话，使用serde::Value有点奇怪;通常人们会直接反序列化为一个结构体：

use rayon::prelude::*;
use serde::{Deserialize, Serialize};
use serde_json::Result;

#[derive(Debug, Serialize, Deserialize)]
struct Entry {
    name: String,
    age: u32,
    phones: Vec<String>,
}

fn main() -> Result<()> {
    let data = r#"
        {
            "name": "John Doe",
            "age": 43,
            "phones": [
                "+44 1234567",
                "+44 2345678"
            ]
        }"#;
    let v: Entry = serde_json::from_str(data)?;
    println!("Please call {} at the number {}", v.name, v.phones[0]);

    let mut batch = Vec::<String>::new();
    batch.push(data.to_string());
    batch.push(data.to_string());

    let values: Vec<Entry> = batch
        .par_iter()
        .map(|json: &String| serde_json::from_str(json.as_str()).unwrap())
        .collect();

    println!("Values:\n{:#?}", values);

    Ok(())
}

Please call John Doe at the number +44 1234567
Values:
[
    Entry {
        name: "John Doe",
        age: 43,
        phones: [
            "+44 1234567",
            "+44 2345678",
        ],
    },
    Entry {
        name: "John Doe",
        age: 43,
        phones: [
            "+44 1234567",
            "+44 2345678",
        ],
    },
]

的字符串

赞(0）回复(0）举报 2023-08-05

我来回答

rust 并行json反序列化失败，但json有效

1条答案

相关问题

热门标签

最新问答