Warum erhalte ich den Fehler "IndexError: list index out of range" und wie behebe ich ihn?

Der Zweck dieser Frage und ihrer Antwort ist es, alle Informationen zusammenzufassen, die sich auf den Fehler beziehen:

IndexError: list index out of range

Und auch zu zeigen, wie man feststellt, warum und wo im Code dieser Fehler auftritt, und eine mehr oder weniger kanonische Antwort zu geben, um in Zukunft darauf verweisen zu können.

PS Die Antwort soll mit neuen Beispielen ergänzt werden.