Por que estou recebendo o erro "IndexError: list index out of range" e como corrigi-lo?

O propósito de criar esta pergunta e sua resposta é resumir todas as informações relacionadas ao erro:

IndexError: list index out of range

e também mostrar como determinar por que e onde esse erro ocorre, além de fornecer uma resposta mais ou menos canônica para referência futura.

PS: A resposta está planejada para ser complementada com novos exemplos.