优化sql结果到编剧

5gfr0r5j 于 2021-06-17 发布在 Mysql

关注(0)|答案(2)|浏览(367)

我有一个程序，可以读取一个文件夹中的文件（总共4gb），为它们编制索引，然后将它们添加到链接的sql数据库中。这一切都发生在窗体加载之前。
现在我希望有另一个文件，每行包含一个13位数字，并从vb查询sql数据库，搜索每个数字以返回哪个文件夹、文件和行号包含该数字。
我下面的方法现在起作用了，但是很慢。我需要找到一个更快的方法，直接到我的号码文件中的特定行，并在该位置写一行新的文本。

Dim result = From n In System.IO.File.ReadLines("G:\USER\SearchThese.txt")
                     Select n.Substring(0, 13)
Dim MyFilePath As String
Dim linePos As String
Dim lines As String
'-- connection
Dim con As New SqlConnection(***MY SQL CONNECTION***)
Dim dataset As New DataSet
Dim datatable As DataTable
Dim dataadapter As New SqlDataAdapter
Dim sql As String
Dim i As Integer
'-- command
Dim cmd As New SqlCommand()
con.Open()
Using sw As New StreamWriter("G:\USER\TESTRUN1.txt")
    For Each word As String In result
        i = 0
        sql = ("SELECT * FROM Test_Table WHERE DigNum = @word")
        dataadapter = New SqlDataAdapter(sql, con)
        dataadapter.SelectCommand.Parameters.AddWithValue("@word", word)
        dataset = New DataSet()
        dataadapter.Fill(dataset, "Test_Table")
        While i < dataset.Tables("Test_Table").Rows.Count
            linePos = dataset.Tables("Test_Table").Rows(i).Item(4).ToString()
            MyFilePath = dataset.Tables("Test_Table").Rows(i).Item(1).ToString()
            i += 1
            Using sr As New StreamReader(MyFilePath)
                For n As Integer = 1 To linePos
                    lines = sr.ReadLine
                Next
                sw.WriteLine(lines)
            End Using
        End While
   Next
End Using
MsgBox("Complete!")

就像我说的，这很好，但即使只搜索5个数字也需要相当长的时间。我猜是streamreader减慢了速度，但我不知道。
如果有人问我，我的数据库表有以下列：

DigNum | FilPth | FilDte | DteAdd | LnePos

sql mysql vb.net vba seek

来源：https://stackoverflow.com/questions/53746042/optimize-sql-result-to-screenwriter

2条答案

按热度按时间

smtd7mpg1#

嗨，伙计们，所以有一个工作，似乎工作完美几乎瞬间。能够得到它是由于在评论的帮助！

Using sw As New StreamWriter("G:\USER\TESTRUN1.txt")
            For Each word As String In result
                i = 0
                sql = "SELECT * FROM Test_Table WHERE DigNbr = @word"
                dataadapter = New SqlDataAdapter(sql, con)
                dataadapter.SelectCommand.Parameters.AddWithValue("@word", word)
                dataset = New DataSet()
                dataadapter.Fill(dataset, "Test_Table")
                While i < dataset.Tables("Test_Table").Rows.Count
                    linePos = dataset.Tables("Test_Table").Rows(i).Item(4).ToString()
                    MyFilePath = dataset.Tables("Test_Table").Rows(i).Item(1).ToString()
                    i += 1
                    Using sr As New StreamReader(MyFilePath)
                        sr.BaseStream.Seek(4096 * (linePos - 1), SeekOrigin.Begin)
                        FoundWords.Add(sr.ReadLine)
                        For Each item As String In FoundWords
                            sw.WriteLine(item)
                        Next
                        FoundWords.Clear()
                    End Using

基本上对于任何阅读我使用seek方法的人来说，每一行是4096字节，换句话说，每4097字节有一个新行开始，所以我的行号表示我要找的13位数字在哪一行，我只是简单地将它乘以，这样seek就直接转到那个字节（行）并得到那一行。
e、假设我在10号线上，409610是40960，这是10号线的起点。就像一个评论说的，我搜索的不是第55行，而是位置（554096）。
我很不善于解释，但希望这能帮助别人。

展开查看全部

赞(0）回复(0）举报 2021-06-18

5cnsuln72#

当试图优化这样一段代码的性能时，您需要逐个调用地度量性能。您可以使用visual studio的分析工具（请参阅：https://docs.microsoft.com/en-us/visualstudio/profiling/profiling-feature-tour?view=vs-2017)
一旦您有了这些数据，您将能够直接看到是什么导致了性能问题，而不是猜测。您还将进行测量，以便在更改代码时可以看到性能是否有所提高或恶化。这再次消除了过程中的猜测，这一点很重要，因为现代编译器和系统在幕后做了很多工作来提高性能，但很容易破坏这些优化。

赞(0）回复(0）举报 2021-06-18

我来回答

优化sql结果到编剧

2条答案

相关问题

热门标签

最新问答