Pourquoi je reçois l'erreur "IndexError: list index out of range" et comment la corriger ?

Le but de la création de cette question et de sa réponse est de résumer toutes les informations relatives à l'erreur :

IndexError: list index out of range

Et aussi de montrer comment déterminer pourquoi et où dans le code cette erreur se produit, et de fournir une réponse plus ou moins canonique à laquelle se référer à l'avenir.

PS : La réponse est prévue pour être complétée avec de nouveaux exemples.