Por que estou recebendo o erro "IndexError: list index out of range" e como corrigi-lo?

O objetivo de criar esta pergunta e sua resposta é resumir todas as informações relacionadas ao erro:

IndexError: list index out of range

E também mostrar como determinar por que e onde no código esse erro ocorre, e fornecer uma resposta mais ou menos canônica para referência futura.

PS: A resposta está planejada para ser complementada com novos exemplos.