Site Extremamente Lento

Bom dia,

Lembrei-me de vir aqui publicar, porque já vi aqui algumas pessoas que encontrei no wordcamp, e como normalmente só publico no internacional tento assim vir mais de perto as sugestões para resolver um problema.

Tenho uma VPS da PTISP, e tenho inúmeros sites desenvolvidos sobre esta, já esperando um número de acessos grande e uma quantidade alta de sites nessa mesma vps, PROBLEMA tenho sites que atingem velocidades penosas.
Antes que perguntem já desactivei e activei uma série de plugins, mas são plugins que todos utilizam em sites, tais como visual composer, layerslider. Já mudei o tema para o default, mas o tema é só dos mais utilizados do themeforest, FLATSOME.
Fiz as optimizações, no Functions.php, coloquei programas de cache , p3 profiler( que a meu ver funciona algo deficientemente, porque eu basicamente vou desactivando plugin a plugin e os tempos para além de não baixarem, avisa-me que até o ubermenu está a provocar as velocidades, quando na realidade não é esse plugin que gera constrangimento em nenhum dos testes sintéticos e testes reais);

Começo seriamente a ficar cansado porque acho que isto é uma mistura, de falhas na VPS por má optimização, e de um problema com o WordPress no seu core ;

Digo uma má optimização da VPS, porque até uma página de html sem código nenhum criada à mão demora no seu TTFB ( time to first byte ) , uns 250ms ( isto é o q um site já pronto demora) , e isto vai escalando quanto maior for site, neste que estou a falar demora sempre 7 a 7.5s a responder , parece-me que ele fica em throttle.

Experimentei, FastComet, Contabo, Time4Vps, e todos funcionam com tempos de resposta bem mais baixos.

Ou seja para finalizar as minhas duas questões são..

Na optimização do site o que é que me está a falhar? ( A nível de plugins creio não conseguir desactivar mais nenhum) ;
Em relação a VPS? ( Apesar de já ter insistido e falado com a ptisp, o que é que eu posso fazer mais em pressionar esta malta);

Obrigado

Pedro Santos