llama_index [问题]:llama3 + NLSQLTableQueryEngine,在生成的SQL语句上使用markdown符号

irtuqstp 于 2个月前发布在其他

关注(0)|答案(3)|浏览(22)

问题验证

我已在文档和Discord上搜索过答案。

问题

大家好，
我在NLSQLTableQueryEngine上遇到了一个问题，我正在使用的LLM是Llama3。生成的SQL有时会包含如下所示的markdown符号：

{'__pydantic_initialised__': True,
 'metadata': {'66660c54-b27c-4a64-90ae-dc1a0c469c62': {},
              'sql_query': '**\n'
                           '```sql\n'
                           'SELECT f.title, f.release_year\n'
                           'FROM film f\n'
                           'ORDER BY f.release_year DESC\n'
                           'LIMIT 10;\n'
                           '```\n'
                           '\n'
                           '**'},

当我尝试多次提出相同的问题时，它按预期工作，生成的两个SQL都是一样的：

{'__pydantic_initialised__': True,
 'metadata': {'8c004365-a5cd-4ab1-8205-6368fbda9cf0': {},
              'col_keys': ['title', 'release_year'],
              'result': [('Grosse Wonderful', 2006),
                         ('Airport Pollock', 2006),
                         ('Bright Encounters', 2006),
                         ('Academy Dinosaur', 2006),
                         ('Ace Goldfinger', 2006),
                         ('Adaptation Holes', 2006),
                         ('Affair Prejudice', 2006),
                         ('African Egg', 2006),
                         ('Agent Truman', 2006),
                         ('Chamber Italian', 2006)],
              'sql_query': 'SELECT f.title, f.release_year FROM film f ORDER '
                           'BY f.release_year LIMIT 10;'},

有人能给我一个提示吗？我错过了什么？
谢谢。

llama_index

来源：https://github.com/run-llama/llama_index/issues/13505

3条答案

按热度按时间

fzwojiic1#

在使用Llama3时，markdown符号出现在NLSQLTableQueryEngine生成的SQL语句中的问题可能是由于引擎没有去除或正确处理语言模型响应中的markdown格式。要解决这个问题，您可以修改NLSQLTableQueryEngine中的响应解析方法，在将响应转换为SQL查询之前删除或转义markdown符号。

以下是您可以应用的快速修复方法：

def _parse_response_to_sql(self, response: str) -> str:
    # Remove common markdown symbols like *, _, and `
    response = re.sub(r'[\*_`]', '', response)
    
    # Optional: Remove everything after "SQLResult:" marker if present
    sql_result_start = response.find("SQLResult:")
    if sql_result_start != -1:
        response = response[:sql_result_start]
    return response.strip()

此代码片段使用正则表达式从响应中删除markdown符号。根据遇到的符号进行调整正则表达式。在您本地的Llama3框架副本中实现此修改，并确保进行充分测试以避免引入新问题。
要了解更多详细信息，您可能需要查看您正在使用的框架中NLSQLTableQueryEngine或类似组件的源代码。

详细信息

来源

此响应旨在帮助您节省时间并提高效率。它不是精确解决方案,而是您自己研究的起点。
帮助我变得更有用！如果这有帮助，请留下一个👍，如果无关紧要，请留下一个👎。

要继续对话，请提及@dosu。*

赞(0）回复(0）举报 2个月前

6l7fqoea2#

你好@dosu,
NLSQLTableQueryEngine正在使用NLSQLRetriever。然而，NLSQLRetriever没有任何函数_parse_response_to_sql。你能详细描述一下我需要更新你建议的代码的哪个文件或类吗？
谢谢。

赞(0）回复(0）举报 2个月前

6psbrbz93#

要解决NLSQLTableQueryEngine生成的SQL语句中出现markdown符号的问题，你应该修改负责解析SQL查询的响应方法。由于NLSQLRetriever不包含_parse_response_to_sql函数，你需要直接在NLSQLTableQueryEngine类中实现这些更改，特别是在其从响应解析SQL查询的方法中。

这是更新后的_parse_response_to_sql方法，包括markdown符号移除：

def _parse_response_to_sql(self, response: str) -> str:
"""Parse response to SQL."""
# Find and remove SQLResult part
sql_result_start = response.find("SQLResult:")
if sql_result_start != -1:
response = response[:sql_result_start]
# Remove markdown symbols
response = response.replace('```', '').replace('**', '')
return response.strip()

此修改从响应中去除了markdown符号**和`````,确保在执行或进一步处理之前，SQL查询不含有这些符号。根据需要调整代码以处理可能遇到的其他markdown符号。

在你的项目的NLSQLTableQueryEngine类中实现这个更改。这应该解决了生成的SQL语句中出现markdown符号的问题。

详细信息

来源

此响应旨在帮助你节省时间并提高效率。它不是精确解决方案,而是你自己研究的一个起点。
请帮助我变得更有用！如果这有帮助，请留下一个👍，如果无关紧要，请留下一个👎。

要继续对话，请提及@dosu。*

赞(0）回复(0）举报 2个月前

我来回答

llama_index [问题]:llama3 + NLSQLTableQueryEngine,在生成的SQL语句上使用markdown符号

问题验证

问题

3条答案

详细信息

详细信息

相关问题

热门标签

最新问答