功能请求
控制基准测试工具输出、格式和位置,以便使用系统Python Package 器(如subprocess
或pexpect
)运行基准测试。将输出写入文件可能就足够了。
假设示例:
ret = subprocess.run(["text-generation-benchmark",
"--batch-size", "1",
"--sequence-length", "10",
"--decode-length", "10",
"--tokenizer-name", "bigscience/mt0-xxl-mt",
],
universal_newlines=True,)
动机
基准测试工具生成一个TUI应用程序,这使得交互式实验非常棒,但也使基准测试的自动化变得复杂。该应用程序受到oha的启发,但这个实现不允许像Oha的--no-tui
那样指定任何禁用实时TUI的标志。
你的贡献
目前还没有提交任何贡献。
2条答案
按热度按时间rm5edbpk1#
我有点困惑。你是想要一个 Package 器,还是想要--no-tui选项存在?
dphi5xsq2#
抱歉,之前的解释可能令人困惑。如果我们添加非交互式TUI选项,使用subprocess作为Python Package 器与应用程序及其输出进行交互可能会足够。另一种方法是将输出位置和输出格式传递给
text-generation-benchmark
,然后从所选语言中简单地消费它。