linux Python解析日志文件以真实的提取事件

fnx2tebb  于 2023-04-20  发布在  Linux
关注(0)|答案(3)|浏览(177)

我有一个将消息记录到文件的进程。
我想实现另一个进程(在Python中),它解析这些日志(当它们被写入文件时),过滤我感兴趣的行,然后根据第一个进程的状态执行某些操作。
在我自己写东西之前,我想知道Python中是否有一个库可以做这样的事情。
另外,关于如何实现像Python这样的东西的想法也会受到欢迎。

niwlg2el

niwlg2el1#

C程序通常会搜索当前位置以清除任何“文件结束”标志。但是正如@9000正确指出的那样,python显然会处理这个问题,所以即使已经到达文件结束,您也可以重复读取同一个文件。
但是,您可能需要处理不完整的行。如果您的应用程序将其日志写入片段,那么您需要确保处理的是整行,而不是那些片段。下面的代码将实现这一点:

f = open('some.log', 'r')
while True:
    line = ''
    while len(line) == 0 or line[-1] != '\n':
        tail = f.readline()
        if tail == '':
            time.sleep(0.1)          # avoid busy waiting
            # f.seek(0, io.SEEK_CUR) # appears to be unneccessary
            continue
        line += tail
    process(line)
h4cxqtbf

h4cxqtbf2#

不需要运行tail -f。纯Python文件应该可以工作:

with open('/tmp/track-this') as f:
  while True:
    line = f.readline()
    if line:
      print line

这个东西的工作原理几乎和tail -f完全一样。通过在另一个终端中运行来检查它:

echo "more" >> /tmp/track-this
# alt-tab here to the terminal with Python and see 'more' printed
echo "even more" >> /tmp/track-this

在运行Python代码段之前,不要忘记创建/tmp/track-this
解析和采取适当的操作取决于你。可能长的操作应该在单独的线程/进程中执行。
停止条件也取决于您,但普通的^C可以工作。

nhaq1z21

nhaq1z213#

谢谢大家的回答。我也找到了这个。http://www.dabeaz.com/generators/follow.py

相关问题