NodeJS 在ExpressJS/NestJS中通过HTTP流发送长字符串的正确方法是什么?

8tntrjer  于 2023-04-29  发布在  Node.js
关注(0)|答案(1)|浏览(233)

我正在使用NestJS为openai聊天完成API编写转发服务。我想对原始流进行转换,然后将流转发到客户端。
代码如下所示,它位于一个nestJS控制器中

const completion = await openai.createChatCompletion(
  {
    model: 'gpt-3.5-turbo',
    messages: messages,
    n: 1,
    stream: true,
    max_tokens: 4000,
  },
  { responseType: 'stream' },
);

class TransformerStream extends Transform {
  _transform(chunk, encoding, callback) {
    // If I directly forward the chunk like this, the client can receive chunk by chunk
    this.push(chunk)
    // However, if I use string, the client can't receive chunk by chunk.
    // My original code is to transform the chunk to string and do some transformation, to simplify the question, just use 'data: ping\n' here
    this.push('data: ping\n', 'utf8')
    callback()
  }
}

const transformer = new TransformerStream()
completion.data.pipe(transformer).pipe(res)

我使用axios从客户端请求API,并尝试使用onDownloadProgress逐块接收它

axios.post('/api/chat', body, {
  responseType: 'stream',
  onDownloadProgress: progress => {
    console.log(progress)
  }
} )

总之,当我直接从openAI API发送缓冲区块时,可以多次记录进度。但是当我发送字符串时,它只能被记录一次。

eqqqjvef

eqqqjvef1#

这可能是由于原始chunk的长度与您试图写入流的字符串的长度之间的差异。
您可以考虑在NestJS控制器中设置以下头文件:

  • Transfer-Encodingchunked
  • X-Content-Type-Optionsnosniff

示例代码:

res.setHeader('Transfer-Encoding', 'chunked');
res.setHeader('X-Content-Type-Options', 'nosniff');

Transfer-Encoding告诉浏览器开始处理数据,而不是等待先加载所有内容
X-Content-Type-Options告诉浏览器尊重header指定的Content-Type,而不是试图根据返回内容的头部进行猜测。根据我对最新Chrome浏览器的测试,在浏览器正确识别Content-Type之前,最初的1024字节似乎被“阻止”了。
你可以在这里阅读更多关于行为的信息:What is "X-Content-Type-Options=nosniff"?
参考文献:

相关问题