🐛 Bug

gen_config 并不总是将 context_window_size 添加到 model_config 中。
context_window_size 键对于 LLMEngine 的加载是必需的。
要重现此问题：在 Mistral 7B 模型上使用 gen_config,并带有 --conv-template=dolly 参数，然后尝试使用 LLMEngine() 加载该模型。
File "<snip>\.venv\Lib\site-packages\mlc_llm\serve\engine_base.py", line 258, in _get_model_config_limit compile_time_context_window_size = config["model_config"]["context_window_size"] ~~~~~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^ KeyError: 'context_window_size'
Windows + nightly wheel。已通过手动将键添加到 mlc-chat-config.json 中修复。
我知道这只是小问题，但还是想分享一下。