Perder potência acho que não, até mesmo porque o câmbio automático proporciona um giro sempre adequado do motor.
Quanto a dirigibilidade, só vejo torná-la mais fácil com o câmbio automático.
Para as trilhas deve aguentar bem, apesar da maioria aqui no fórum que faz trilhas usarem quadri mais fortes.
Quanto ao consumo, realmente o danado é mais beberrão, até mesmo por causa do câmbio, mas não sei se isso chega a ser importante para que gosta.
Resumindo, pode comprar que não se arrependerá.