Pourquoi je reçois l'erreur "IndexError: list index out of range" et comment la corriger ?

Le but de la création de cette question et de sa réponse est de résumer toutes les informations liées à l'erreur :

  IndexError:  list  index out of  range   

et aussi de montrer comment déterminer pourquoi et où cette erreur se produit, et de fournir une réponse plus ou moins canonique pour s'y référer à l'avenir.

PS La réponse est prévue pour être complétée par de nouveaux exemples.