linux 如何可靠地测量进程使用的网络带宽

dm7nw8vv  于 11个月前  发布在  Linux
关注(0)|答案(5)|浏览(109)

我已经开发了一个应用程序，我想在一些典型的测试案例中测量它消耗了多少网络带宽。
我发现了一些应用程序，如nethog等，但我不知道它的报告有多准确！
我想有一些方法来非常准确地衡量同样的结果需要进入一个会议的报告。
我愿意写定制的解决方案，同样的，如果有人指导我如何！
我想要的东西，我可以运行监控程序和我的目标应用程序，以获得网络使用统计数据-累计字节发送/random.

linux

5条答案

按热度按时间
dxpyg8gm

dxpyg8gm1#

应用程序是否可以隔离在一台机器上？
系统上还需要运行其他东西吗？
如果系统可以这样专用，则周期性地从/proc/net/netstat中获取最后一行，并减去InOctets和OutOctets的相应值。
这个系统，Fedora 15，在23天的试用期后显示：

TcpExt: SyncookiesSent SyncookiesRecv SyncookiesFailed EmbryonicRsts PruneCalled RcvPruned OfoPruned OutOfWindowIcmps LockDroppedIcmps ArpFilter TW TWRecycled TWKilled PAWSPassive PAWSActive PAWSEstab DelayedACKs DelayedACKLocked DelayedACKLost ListenOverflows ListenDrops TCPPrequeued TCPDirectCopyFromBacklog TCPDirectCopyFromPrequeue TCPPrequeueDropped TCPHPHits TCPHPHitsToUser TCPPureAcks TCPHPAcks TCPRenoRecovery TCPSackRecovery TCPSACKReneging TCPFACKReorder TCPSACKReorder TCPRenoReorder TCPTSReorder TCPFullUndo TCPPartialUndo TCPDSACKUndo TCPLossUndo TCPLoss TCPLostRetransmit TCPRenoFailures TCPSackFailures TCPLossFailures TCPFastRetrans TCPForwardRetrans TCPSlowStartRetrans TCPTimeouts TCPRenoRecoveryFail TCPSackRecoveryFail TCPSchedulerFailed TCPRcvCollapsed TCPDSACKOldSent TCPDSACKOfoSent TCPDSACKRecv TCPDSACKOfoRecv TCPAbortOnSyn TCPAbortOnData TCPAbortOnClose TCPAbortOnMemory TCPAbortOnTimeout TCPAbortOnLinger TCPAbortFailed TCPMemoryPressures TCPSACKDiscard TCPDSACKIgnoredOld TCPDSACKIgnoredNoUndo TCPSpuriousRTOs TCPMD6NotFound TCPMD5Unexpected TCPSackShifted TCPSackMerged TCPSackShiftFallback TCPBacklogDrop TCPMinTTLDrop TCPDeferAcceptDrop IPReversePathFilter TCPTimeWaitOverflow TCPReqQFullDoCookies TCPReqQFullDrop
TcpExt: 0 0 0 0 0 0 0 0 10 0 67116 0 0 0 0 8 117271 53 18860 0 0 102295 23352211 87967244 0 16861098 118195 893786 881659 0 29 10 0 0 0 9 10 16 12 2321 21 0 1 156 39 940 13 921 8015 0 1 2 0 18461 22 941 0 0 2974 15422 0 709 0 0 0 1 8 119 3 0 0 0 0 25231 0 0 0 4 0 0 0
IpExt: InNoRoutes InTruncatedPkts InMcastPkts OutMcastPkts InBcastPkts OutBcastPkts InOctets OutOctets InMcastOctets OutMcastOctets InBcastOctets OutBcastOctets
IpExt: 0 0 25308 48 725 1 24434248973 4218365129 2181277 13241 365505 65

字符串
当然，这种格式在这里并不友好，但对于脚本语言来说相当不错。你可以看到信息的深度和多样性！最后一行显示这个系统已经读取了24，434，248，973字节，写入了4，218，365，129字节。（这是在抓取一个大型网站的第九天。）

赞(0）分享  回复(0）举报  11个月前
uhry853o

uhry853o2#

再仔细查看一下，我发现 procfs 包含了每个进程的净i/o统计信息。

[wally@lenovotower ~]$ cat /proc/32089/net/dev
Inter-|   Receive                                                |  Transmit
 face |bytes    packets errs drop fifo frame compressed multicast|bytes    packets errs drop fifo colls carrier compressed
    lo:  622834    6102    0    0    0     0          0         0   622834    6102    0    0    0     0       0          0
  eth0: 3290609241 20752766    0    0    0     0          0         0 161708339 16831446    0    0    0     0       0          0
virbr0:       0       0    0    0    0     0          0         0        0       0    0    0    0     0       0          0

字符串
如果这是一个长时间运行的进程，那么可以使用它来计算使用的带宽。

  • edit -尽管路径，正如其他人指出的那样，这些对于所有进程都是相同的，因此显然 * 不是 * 每个进程的网络i/o统计。
赞(0）分享  回复(0）举报  11个月前
pbwdgjma

pbwdgjma3#

获取每个任务网络IO统计信息的唯一方法是使用某种taskstats接口（基于netlink）。不幸的是，它会记录你能想象到的所有信息，除了网络信息。我已经做了一个小补丁，用于记录套接字写/读的字节数和taskstats上的两个条目（用于tx/tx），以从我的系统中获取此类信息。
包括：

Signed-off-by: Rafael David Tinoco <[email protected]>
diff --git a/include/linux/taskstats.h b/include/linux/taskstats.h
index 341dddb..b0c5990 100644
--- a/include/linux/taskstats.h
+++ b/include/linux/taskstats.h
@@ -163,6 +163,10 @@ struct taskstats {
    /* Delay waiting for memory reclaim */
    __u64   freepages_count;
    __u64   freepages_delay_total;
+
+   /* Per-task network I/O accounting */
+   __u64   read_net_bytes;         /* bytes of socket read I/O */
+   __u64   write_net_bytes;        /* bytes of socket write I/O */
 };

字符串
源代码：

Signed-off-by: Rafael David Tinoco <[email protected]>
diff --git a/include/linux/task_io_accounting.h b/include/linux/task_io_accounting.h
index bdf855c..bd45b92 100644
--- a/include/linux/task_io_accounting.h
+++ b/include/linux/task_io_accounting.h
@@ -41,5 +41,12 @@ struct task_io_accounting {
     * information loss in doing that.
     */
    u64 cancelled_write_bytes;
+
+   /* The number of bytes which this task has read from a socket */
+   u64 read_net_bytes;
+
+   /* The number of bytes which this task has written to a socket */
+   u64 write_net_bytes;
+
 #endif /* CONFIG_TASK_IO_ACCOUNTING */
 };
diff --git a/include/linux/task_io_accounting_ops.h b/include/linux/task_io_accounting_ops.h
index 4d090f9..ee8416f 100644
--- a/include/linux/task_io_accounting_ops.h
+++ b/include/linux/task_io_accounting_ops.h
@@ -12,6 +12,11 @@ static inline void task_io_account_read(size_t bytes)
    current->ioac.read_bytes += bytes;
 }

+static inline void task_io_account_read_net(size_t bytes)
+{
+   current->ioac.read_net_bytes += bytes;
+}
+
 /*
  * We approximate number of blocks, because we account bytes only.
  * A 'block' is 512 bytes
@@ -26,6 +31,11 @@ static inline void task_io_account_write(size_t bytes)
    current->ioac.write_bytes += bytes;
 }

+static inline void task_io_account_write_net(size_t bytes)
+{
+   current->ioac.write_net_bytes += bytes;
+}
+
 /*
  * We approximate number of blocks, because we account bytes only.
  * A 'block' is 512 bytes
@@ -59,6 +69,10 @@ static inline void task_io_account_read(size_t bytes)
 {
 }

+static inline void task_io_account_read_net(size_t bytes)
+{
+}
+
 static inline unsigned long task_io_get_inblock(const struct task_struct *p)
 {
    return 0;
@@ -68,6 +82,10 @@ static inline void task_io_account_write(size_t bytes)
 {
 }

+static inline void task_io_account_write_net(size_t bytes)
+{
+}
+
 static inline unsigned long task_io_get_oublock(const struct task_struct *p)
 {
    return 0;
diff --git a/include/linux/taskstats.h b/include/linux/taskstats.h
index 341dddb..b0c5990 100644
--- a/include/linux/taskstats.h
+++ b/include/linux/taskstats.h
@@ -163,6 +163,10 @@ struct taskstats {
    /* Delay waiting for memory reclaim */
    __u64   freepages_count;
    __u64   freepages_delay_total;
+
+   /* Per-task network I/O accounting */
+   __u64   read_net_bytes;         /* bytes of socket read I/O */
+   __u64   write_net_bytes;        /* bytes of socket write I/O */
 };

diff --git a/kernel/tsacct.c b/kernel/tsacct.c
index 00d59d0..b279e69 100644
--- a/kernel/tsacct.c
+++ b/kernel/tsacct.c
@@ -104,10 +104,14 @@ void xacct_add_tsk(struct taskstats *stats, struct task_struct *p)
    stats->read_bytes       = p->ioac.read_bytes;
    stats->write_bytes      = p->ioac.write_bytes;
    stats->cancelled_write_bytes = p->ioac.cancelled_write_bytes;
+   stats->read_net_bytes   = p->ioac.read_net_bytes;
+   stats->write_net_bytes  = p->ioac.write_net_bytes;
 #else
    stats->read_bytes       = 0;
    stats->write_bytes      = 0;
    stats->cancelled_write_bytes = 0;
+   stats->read_net_bytes   = 0;
+   stats->write_net_bytes  = 0;
 #endif
 }
 #undef KB
diff --git a/net/socket.c b/net/socket.c
index 769c386..dd7dbb6 100644
--- a/net/socket.c
+++ b/net/socket.c
@@ -87,6 +87,7 @@
 #include <linux/wireless.h>
 #include <linux/nsproxy.h>
 #include <linux/magic.h>
+#include <linux/task_io_accounting_ops.h>

 #include <asm/uaccess.h>
 #include <asm/unistd.h>
@@ -538,6 +539,7 @@ EXPORT_SYMBOL(sock_tx_timestamp);
 static inline int __sock_sendmsg(struct kiocb *iocb, struct socket *sock,
                             struct msghdr *msg, size_t size)
 {
+   int ret;
    struct sock_iocb *si = kiocb_to_siocb(iocb);
    int err;

@@ -550,7 +552,12 @@ static inline int __sock_sendmsg(struct kiocb *iocb, struct socket *sock,
    if (err)
            return err;

-   return sock->ops->sendmsg(iocb, sock, msg, size);
+   ret = sock->ops->sendmsg(iocb, sock, msg, size);
+
+   if (ret > 0)
+           task_io_account_write_net(ret);
+
+   return ret;
 }

 int sock_sendmsg(struct socket *sock, struct msghdr *msg, size_t size)
@@ -666,6 +673,7 @@ EXPORT_SYMBOL_GPL(sock_recv_ts_and_drops);
 static inline int __sock_recvmsg_nosec(struct kiocb *iocb, struct socket *sock,
                                   struct msghdr *msg, size_t size, int flags)
 {
+   int ret = 0;
    struct sock_iocb *si = kiocb_to_siocb(iocb);

    si->sock = sock;
@@ -674,7 +682,12 @@ static inline int __sock_recvmsg_nosec(struct kiocb *iocb, struct socket *sock,
    si->size = size;
    si->flags = flags;

-   return sock->ops->recvmsg(iocb, sock, msg, size, flags);
+   ret = sock->ops->recvmsg(iocb, sock, msg, size, flags);
+
+   if (ret > 0)
+           task_io_account_read_net(ret);
+
+   return ret;
 }

 static inline int __sock_recvmsg(struct kiocb *iocb, struct socket *sock,

型

赞(0）分享  回复(0）举报  11个月前
jjjwad0x

jjjwad0x4#

Vnstat是检查互联网带宽使用的简单工具，
下面是安装它的命令

sudo apt-get install vnstat

字符串
要运行vnstat，您需要运行以下命令。

vnstat

型
这里（check Monitor Network Bandwidth Usage）有更多的选项来检查每天、每周、每月和前10天的网络带宽使用情况。
希望对大家有所帮助。

赞(0）分享  回复(0）举报  11个月前
hgqdbh6s

hgqdbh6s5#

Cat /proc/net/dev这是找出带宽使用情况的方法之一

gaddenna@gaddenna-Vostro-3546:~$ cat /proc/net/dev 
Inter-|   Receive                                                |  Transmit
 face |bytes    packets errs drop fifo frame compressed multicast|bytes    packets errs drop fifo colls carrier compressed
 wlan1: 9420966650 7703510    0    1    0     0          0         0 673178457 4296602    0    0    0     0       0          0
  eth2: 7961371946 6849173    0   10    0     0          0    167030 446826449 3289015    0    0    0     0       0          0
    lo: 48209054   473527     0    0    0     0          0         0 48209054  473527     0    0    0     0       0          0

字符串

赞(0）分享  回复(0）举报  11个月前
我来回答

相关问题

    查看更多

    热门标签

    更多
    JavaquerypythonNode开发语言requestUtil数据库Table后端算法LoggerMessageElementParser

    最新问答

    更多
    • 蜀ICP备13028337号-1 大数据知识库 https://www.saoniuhuo.com © All rights reserved
    • 本站内容来源互联网,如果侵犯您的权益请联系我们删除, 联系方式：448109455@qq.com