我正在使用NestJS为openai聊天完成API编写转发服务。我想对原始流进行转换,然后将流转发到客户端。
代码如下所示,它位于一个nestJS控制器中
const completion = await openai.createChatCompletion(
{
model: 'gpt-3.5-turbo',
messages: messages,
n: 1,
stream: true,
max_tokens: 4000,
},
{ responseType: 'stream' },
);
class TransformerStream extends Transform {
_transform(chunk, encoding, callback) {
// If I directly forward the chunk like this, the client can receive chunk by chunk
this.push(chunk)
// However, if I use string, the client can't receive chunk by chunk.
// My original code is to transform the chunk to string and do some transformation, to simplify the question, just use 'data: ping\n' here
this.push('data: ping\n', 'utf8')
callback()
}
}
const transformer = new TransformerStream()
completion.data.pipe(transformer).pipe(res)
我使用axios从客户端请求API,并尝试使用onDownloadProgress
逐块接收它
axios.post('/api/chat', body, {
responseType: 'stream',
onDownloadProgress: progress => {
console.log(progress)
}
} )
总之,当我直接从openAI API发送缓冲区块时,可以多次记录进度。但是当我发送字符串时,它只能被记录一次。
1条答案
按热度按时间eqqqjvef1#
这可能是由于原始
chunk
的长度与您试图写入流的字符串的长度之间的差异。您可以考虑在NestJS控制器中设置以下头文件:
Transfer-Encoding
:chunked
X-Content-Type-Options
:nosniff
示例代码:
Transfer-Encoding
告诉浏览器开始处理数据,而不是等待先加载所有内容X-Content-Type-Options
告诉浏览器尊重header指定的Content-Type
,而不是试图根据返回内容的头部进行猜测。根据我对最新Chrome浏览器的测试,在浏览器正确识别Content-Type
之前,最初的1024字节似乎被“阻止”了。你可以在这里阅读更多关于行为的信息:What is "X-Content-Type-Options=nosniff"?
参考文献: