Comment lire et écrire des fichiers en Go : vitesse et optimisation

Formateur Python en ligne pour débutants

Apprenez Python facilement sans surcharge théorique. Résolvez des tâches pratiques avec vérification automatique et écrivez du code directement dans le navigateur.

Start Course

Go et les fichiers : la magie de la vitesse que vous ne remarquez pas

\n\n

Avez-vous déjà réfléchi à la raison pour laquelle un même script en Go traite un fichier journal d'un gigaoctet en quelques secondes, tandis qu'un autre met des minutes ? Ce n'est pas de la magie, mais bien comment vous lisez et écrivez les fichiers. La question "How to read/write from/to a file using Go" sur Stack Overflow a rassemblé des milliers de vues pour une bonne raison : c'est un sujet fondamental où une seule ligne de code peut décider si votre service respecte les délais ou non.

\n\n

Aujourd'hui, nous n'allons pas simplement aborder des exemples de base. Nous allons regarder sous le capot de Go, comparer ioutil, os et bufio, réaliser de véritables benchmarks et vous fournir une liste de contrôle pour des performances maximales. C'est parti !

\n\n

Niveau de base : comment lire un fichier en Go

\n\n

Commençons par la méthode la plus simple et la plus populaire : ioutil.ReadFile. Elle est idéale pour les petits fichiers de configuration ou les fichiers JSON :

\n\n

package main\n\nimport (\n    "fmt"\n    "io/ioutil"\n    "log"\n)\n\nfunc main() {\n    data, err := ioutil.ReadFile("config.json")\n    if err != nil {\n        log.Fatal(err)\n    }\n    fmt.Println(string(data))\n}

\n\n

Que se passe-t-il ici ? Go charge l'intégralité du fichier en mémoire d'un seul coup. Pour un fichier de 1 à 10 Mo, c'est parfait. Mais si vous essayez de charger ainsi un journal de 2 Go, vous obtiendrez une erreur OOM (out of memory) et un serveur planté. Retenez la règle n°1 : ioutil.ReadFile est réservé aux petits fichiers.

\n\n

Alternative : os.Open + io.Copy

\n\n

Lorsque le fichier est volumineux, utilisez la lecture en flux :

\n\n

package main\n\nimport (\n    "io"\n    "os"\n    "log"\n)\n\nfunc main() {\n    file, err := os.Open("bigfile.log")\n    if err != nil {\n        log.Fatal(err)\n    }\n    defer file.Close()\n\n    // Copie le contenu vers stdout\n    _, err = io.Copy(os.Stdout, file)\n    if err != nil {\n        log.Fatal(err)\n    }\n}

\n\n

Ici, nous ne stockons pas tout le fichier en mémoire : Go le lit par morceaux (tampons de 32 Ko par défaut). C'est déjà beaucoup plus sûr pour les volumes importants, mais ce n'est pas la solution la plus rapide.

\n\n

Écriture de fichiers : du simple au professionnel

\n\n

L'écriture peut également se faire de différentes manières. La méthode la plus directe est ioutil.WriteFile :

\n\n

data := []byte("Hello, Go file!")\nerr := ioutil.WriteFile("output.txt", data, 0644)\nif err != nil {\n    log.Fatal(err)\n}

\n\n

Simple, mais encore une fois, tout est en mémoire. Pour des données volumineuses, ce n'est pas une option. Si vous générez un rapport de 500 Mo, utilisez bufio.NewWriter :

\n\n

package main\n\nimport (\n    "bufio"\n    "os"\n    "log"\n)\n\nfunc main() {\n    file, err := os.Create("large_output.txt")\n    if err != nil {\n        log.Fatal(err)\n    }\n    defer file.Close()\n\n    writer := bufio.NewWriter(file)\n    for i := 0; i < 1000000; i++ {\n        _, err := writer.WriteString("Ligne numéro " + string(rune(i)) + "\\n")\n        if err != nil {\n            log.Fatal(err)\n        }\n    }\n    writer.Flush() // obligatoire !\n}

\n\n

Point clé : bufio.NewWriter bufferise l'écriture. Au lieu d'écrire chaque ligne sur le disque (ce qui est extrêmement lent), il accumule les données en mémoire (4 Ko par défaut) et les vide sur le disque en un seul appel. Sans Flush() à la fin, vous risquez de perdre des données.

\n\n