如何在Go中读写文件：速度与优化

轻松学习Python，无需理论负担。在浏览器中直接解决带自动检查的实践任务，无需安装任何东西。

Go与文件：您未曾注意的速度魔法

\n\n

您是否想过，为什么同一个Go脚本处理千兆级日志只需几秒，而另一个却需要几分钟？这不是魔法，关键在于如何读写文件。Stack Overflow上"How to read/write from/to a file using Go"问题获得数千次浏览并非偶然——这是一个基础主题，一行代码就可能决定您的服务能否按时完成。

\n\n

今天，我们不仅会解析基本示例。我们将深入Go的内部机制，比较ioutil、os和bufio，进行真实的基准测试，并为您提供一份实现最高性能的检查清单。开始吧！

\n\n

基础级别：如何在Go中读取文件

\n\n

我们从最简单、最流行的方法开始——ioutil.ReadFile。它非常适合小型配置文件或JSON文件：

\n\n

package main\n\nimport (\n    "fmt"\n    "io/ioutil"\n    "log"\n)\n\nfunc main() {\n    data, err := ioutil.ReadFile("config.json")\n    if err != nil {\n        log.Fatal(err)\n    }\n    fmt.Println(string(data))\n}

\n\n

这里发生了什么？Go一次性将整个文件加载到内存中。对于1-10 MB大小的文件，这很好。但如果您尝试用这种方式加载2 GB的日志，就会遇到OOM（内存不足）并导致服务器崩溃。记住规则1：ioutil.ReadFile仅适用于小文件。

\n\n

替代方案：os.Open + io.Copy

\n\n

当文件很大时，请使用流式读取：

\n\n

package main\n\nimport (\n    "io"\n    "os"\n    "log"\n)\n\nfunc main() {\n    file, err := os.Open("bigfile.log")\n    if err != nil {\n        log.Fatal(err)\n    }\n    defer file.Close()\n\n    // 将内容复制到stdout\n    _, err = io.Copy(os.Stdout, file)\n    if err != nil {\n        log.Fatal(err)\n    }\n}

\n\n

这里我们不会将整个文件保存在内存中——Go会分块读取（默认缓冲区大小为32 KB）。对于大数据量来说，这已经安全得多，但并非最快的解决方案。

\n\n

文件写入：从简单到专业

\n\n

写入也可以采用不同的方式。最直接的方法是ioutil.WriteFile：

\n\n

data := []byte("Hello, Go file!")\nerr := ioutil.WriteFile("output.txt", data, 0644)\nif err != nil {\n    log.Fatal(err)\n}

\n\n

很简单，但同样——所有数据都在内存中。对于海量数据，这不是一个选项。如果您要生成500 MB的报告，请使用bufio.NewWriter：

\n\n

package main\n\nimport (\n    "bufio"\n    "os"\n    "log"\n)\n\nfunc main() {\n    file, err := os.Create("large_output.txt")\n    if err != nil {\n        log.Fatal(err)\n    }\n    defer file.Close()\n\n    writer := bufio.NewWriter(file)\n    for i := 0; i < 1000000; i++ {\n        _, err := writer.WriteString("行号 " + string(rune(i)) + "\\n")\n        if err != nil {\n            log.Fatal(err)\n        }\n    }\n    writer.Flush() // 必须调用！\n}

\n\n

关键点：bufio.NewWriter会缓冲写入。它不是将每一行都写入磁盘（这非常慢），而是在内存中累积数据（默认4 KB），然后一次性刷新到磁盘。如果没有最后的Flush()，您可能会丢失数据。

\n\n