假设文件Foo.txt
的内容如下。
Foo Bar Bar Foo
字符串
看看下面的短节目。
package main
import "syscall"
import "fmt"
func main() {
fd, err := syscall.Open("Foo.txt", syscall.O_RDONLY, 0)
if err != nil {
fmt.Println("Failed on open: ", err)
}
data := make([]byte, 100)
_, err = syscall.Read(fd, data)
if err != nil {
fmt.Println("Failed on read: ", err)
}
syscall.Close(fd)
}
型
当我们运行上面的程序时,我们没有得到任何错误,这是正确的行为。
现在,我将syscall.Open
行修改为如下所示。
fd, err := syscall.Open("Foo.txt", syscall.O_RDONLY | syscall.O_SYNC | syscall.O_DIRECT, 0)
型
当我再次运行程序时,我得到以下(不希望的)输出。
Failed on read: invalid argument
型
如何正确传递open
man page指定的标志syscall.O_SYNC
和syscall.O_DIRECT
以跳过文件系统缓存?
请注意,我直接使用syscall
文件接口而不是os
文件接口,因为我找不到将这些标志传递到os
提供的函数中的方法,但我对使用os
的解决方案持开放态度,只要它们能够正确工作,在读取时禁用文件系统缓存。
还请注意,我在Ubuntu 14.04
上运行,并将ext4
作为我的文件系统。
更新:我尝试在下面的代码中使用@Nick Craig-Wood的包。
package main
import "io"
import "github.com/ncw/directio"
import "os"
import "fmt"
func main() {
in, err := directio.OpenFile("Foo.txt", os.O_RDONLY, 0666)
if err != nil {
fmt.Println("Error on open: ", err)
}
block := directio.AlignedBlock(directio.BlockSize)
_, err = io.ReadFull(in, block)
if err != nil {
fmt.Println("Error on read: ", err)
}
}
型
输出如下
Error on read: unexpected EOF
型
3条答案
按热度按时间gcxthw6b1#
你可能会喜欢我的directio package,我正是为此目的而做的。
从现场
这是Go语言的库,可以在所有支持的Go操作系统(除了openbsd和plan9)下使用Direct IO。
直接IO在操作系统中不缓冲数据的情况下从磁盘进行IO。当您阅读或写入大量不想填满操作系统缓存的数据时,它很有用。
请参阅此处的软件包文档
https://pkg.go.dev/github.com/ncw/directio的
0yg35tkg2#
在
open
手册页的“NOTES”下:O_DIRECT标志可能会对用户空间缓冲区的长度和地址以及I/O的文件偏移量施加对齐限制。在Linux中,对齐限制因文件系统和内核版本而异,可能完全不存在。
因此,您可能会遇到内存或文件偏移的对齐问题,或者您的缓冲区大小可能“错误”。对齐和大小 * 应该 * 是什么并不明显。手册页继续:
然而,目前没有独立于文件系统的接口,用于应用程序发现给定文件或文件系统的这些限制。
甚至连莱纳斯也以他一贯低调的方式加入进来:
“O_DIRECT一直困扰着我的是,整个界面都很愚蠢,可能是一只精神错乱的猴子用一些严重的精神控制物质设计的。
祝你好运!
p.s.黑暗中的刺:为什么不读512字节?
2vuwiymt3#
你可以尝试使用fadvice和madvice,但不能保证.两者都将更可能与较大的文件/数据一起工作,因为:
部分页被有意保留,因为保留所需的内存比丢弃不需要的内存更好。
看看Linux源代码,什么会做什么不做什么。例如POSIX_FADV_NOREUSE什么都不做。
http://lxr.free-electrons.com/source/mm/fadvise.c#L62
http://lxr.free-electrons.com/source/mm/madvise.c
字符串
/usr/bin/time -v ./direct -x
型