extractvalue在mysql中处理和解析xml的速度非常慢

30byixjq 于 2021-06-25 发布在 Mysql

关注(0)|答案(2)|浏览(401)

我们正在使用extractvalue（xml，xpath）和循环处理大量xml。e、 g.extractvalue（p\u xml，concat（xpath，'/root/table[0]/'），

While (20k)
 INSERT INTO select_keys(key)
 Values (ExtractValue(p_xml, concat(xpath,'key',[counter])));
End While

当行数超过数千行时，对数据表的xml处理会变得非常缓慢。

CALL `MT_PROC`
(181, 0, '<ROOT></ROOT>', '<ROOT>
<TABLE><keys>f5d29464-e941-4cdf-a21b-984add68dce9</keys></TABLE>
<TABLE><keys>731d23a1-0438-4f72-91a5-83288f6e93b4</keys></TABLE>
<TABLE><keys>c68a4fb8-6306-4728-8b55-f26a151ffad4</keys></TABLE>
<TABLE><keys>3f5ec4bb-2109-4876-a419-b07b553081cc</keys></TABLE>
<TABLE><keys>4689bc20-9eec-4f6b-a454-9a30b7080cc2</keys></TABLE>
<TABLE><keys>466a7da5-7a9e-419f-b1fc-dcd57931a095</keys></TABLE>
....20K rows
</ROOT>')

这个问题的解决办法是什么。

mysql xml Database Procedure

来源：https://stackoverflow.com/questions/50288898/extractvalue-very-slow-xml-processing-parsing-in-mysql

2条答案

按热度按时间

fwzugrvs1#

您提供的答案易受mysql注入攻击。我还研究了如何在从xml中提取值时提高性能。但是连接字符串来创建命令似乎是自找麻烦。。
只是给你举一个这样的攻击的例子（测试）
如果用户可以通过某种方式操纵xml中的值，恶意用户可能会提供类似以下内容的值：

normalvaluehere\');select * from atablehere--

（结尾有空格）会导致

select * from atablehere

正在执行。
你们找到别的方法了吗？
谢谢！

赞(0）回复(0）举报 2021-06-25

pgx2nnw82#

通过直接插入而不是提取值来加快xml处理速度。使用query直接在表中插入数据，如下所示。

if p_xml is not null and p_xml <> '<ROOT></ROOT>' 
        then
            /*set CountMAX  = ExtractValue(p_xml, 'count(/ROOT/TABLE)');
            set Counter=1;

                while(Counter<=CountMAX) DO
                set xpath=concat('/ROOT/TABLE[',Counter,']/');
                    -- inserting values into the temp table
                    INSERT INTO select_keys(report_key)   Values (
                    ExtractValue(p_xml, concat(xpath,'report_key'))
                     );
                set Counter = Counter + 1;
               END WHILE;
               */               
    set p_xml = replace(replace(p_xml,'<TABLE><report_key>','('''),'</report_key></TABLE>','''),');            
    set p_xml = replace(replace(p_xml,'<ROOT>',''),',</ROOT>','');

    set @stmt_str = concat('INSERT INTO select_keys(report_key) values ' ,p_xml);
    prepare stmt from @stmt_str;
    execute stmt;
    deallocate prepare stmt;
END If;

赞(0）回复(0）举报 2021-06-25

我来回答

extractvalue在mysql中处理和解析xml的速度非常慢

2条答案

相关问题

热门标签

最新问答