Como expandir um site de alta carga (Python, MySQL)?

Existe um site funcional escrito em Python (Django), e o banco de dados - MySQL.
Como os desenvolvedores não trabalharam muito na escrita de código otimizado, o site ficou muito pesado. E com dezenas de milhares de visitas por dia, nos horários de pico, o servidor não aguenta a carga e derruba aqueles que não conseguiu atender.
Aqui está a configuração do servidor físico:
1. 2 núcleos de 1,8GHZ
2. RAM 2GB

O que está implantado no servidor atualmente:
mysql + nginx + fastcgi

Então a pergunta : Gostaria de ouvir a opinião de experientes, ou simplesmente de quem sabe, o que pode ser expandido. Este site, para que seja o mais rápido possível e com capacidade de recursos? Ou isso é um limite?