功能请求

控制基准测试工具输出、格式和位置，以便使用系统Python Package 器(如subprocess或pexpect)运行基准测试。将输出写入文件可能就足够了。

假设示例：

ret = subprocess.run(["text-generation-benchmark",
                                        "--batch-size", "1",
                                        "--sequence-length", "10",
                                        "--decode-length", "10",
                                        "--tokenizer-name", "bigscience/mt0-xxl-mt",
                                      ],
                                     universal_newlines=True,)

动机

基准测试工具生成一个TUI应用程序，这使得交互式实验非常棒，但也使基准测试的自动化变得复杂。该应用程序受到oha的启发，但这个实现不允许像Oha的--no-tui那样指定任何禁用实时TUI的标志。

你的贡献

目前还没有提交任何贡献。