mlc-llm Android MLCChat是否有先前的上下文作为输入?

kupeojn6  于 2个月前  发布在  Android
关注(0)|答案(4)|浏览(57)

一般性问题

在基于模型 gemma-2-2b-it-q4f16_1 生成 Android MLCChat 应用并将其安装到我的设备上后,我发现聊天机器人似乎无法保留之前的上下文。

例如,在截图中,它没有理解第二个问题 "why" 指的是 "which is bigger, 9.11 or 9.9?"。

看起来该应用只使用最近的问题作为提示,而不是考虑之前的对话历史。

我想知道这是设计如此还是我在应用程序生成过程中犯了错误。

非常感谢!

lvjbypge

lvjbypge1#

感谢您的反馈,我们正在努力解决这个问题。

9q78igpj

9q78igpj2#

感谢您的反馈,我们正在努力解决这个问题。
收到,谢谢您的反馈,期待更新~

j1dl9f46

j1dl9f463#

你好@LCmoon0126,我已经在#2760中修复了这个问题,你可以尝试使用最新的提交再次尝试。请先卸载MLCChat,谢谢。

piwo6bdm

piwo6bdm4#

你好@LCmoon0126,我已经在#2760中修复了这个问题,你可以尝试使用最新的提交再次尝试吗?请先卸载MLCChat,谢谢。

你好@mengshyu,谢谢你的更新。
但是在我更新代码后,我启动MLCChat,点击聊天按钮,MLCChat崩溃了。
我的步骤是:

  1. 更新代码到最新版本
  2. 通过"mlc_llm package"重新打包
  3. 使用Android Studio生成APK
  4. 在我的Android手机上卸载MLCChat
  5. 通过"python bundle_weight.py --apk-path app/release/app-release.apk"安装APK和权重
    我的Android手机是红米K60。
    我的mlc-package-config.json是这样的:
{
    "device": "android",
    "model_list": [
        {
            "model_notuse": "/Users/licheng/Desktop/AI/models/gemma2/gemma-2-2b/gemma-2-2b-q4f16_1-MLC",
            "model": "HF://mlc-ai/gemma-2-2b-it-q4f16_1-MLC",
            "model_id": "gemma-2-2b-it-q4f16_1-MLC",
            "estimated_vram_bytes": 3000000000,
            "bundle_weight": true
        }
    ]
}

屏幕录制是这样的:
https://github.com/user-attachments/assets/16d317b6-2cf1-446d-95f9-e40b31907161
我还尝试从Android Studio运行应用程序到我的设备,结果仍然是崩溃。

相关问题