मुझे 'IndexError: list index out of range' त्रुटि क्यों मिल रही है और इसे कैसे ठीक करें?

इस प्रश्न और इसके उत्तर को बनाने का उद्देश्य त्रुटि से संबंधित सभी जानकारी को संक्षेप में प्रस्तुत करना है:

IndexError: list index out of range

साथ ही यह दिखाना है कि कैसे पता लगाया जाए कि कोड में यह त्रुटि क्यों और कहाँ होती है, और भविष्य में संदर्भ के लिए एक अधिक-से-अधिक मानक उत्तर प्रस्तुत करना है।

PS उत्तर को नए उदाहरणों के साथ पूरक करने की योजना है।