Warum erhalte ich den Fehler "IndexError: list index out of range" und wie behebe ich ihn?

Der Zweck dieser Frage und ihrer Antwort ist es, alle Informationen zum Fehler zusammenzufassen:

IndexError: list index out of range

sowie zu zeigen, wie man feststellt, warum und wo dieser Fehler auftritt, und eine mehr oder weniger kanonische Antwort zu geben, auf die man in Zukunft verweisen kann.

PS Die Antwort soll mit neuen Beispielen ergänzt werden.