Se são só 20% fora do asfalto, é sinal que você não vai fazer nenhuma trilha pesada e qualquer dos dois carros irá te levar com capacidade off-road de sobra.
Não me entenda mal. O Jimny é um autêntico e excelente off-road. Se você consultar os tópicos da Suzuki vai ver do que esse jipe é capaz. Porém, se vai predominar o uso em cidade, o pior câmbio automático (o do TR4 é horrível) sempre será muito mais confortável que o melhor câmbio mecânico.
Pontos fracos do TR4: consumo (bebe mesmo por culpa do péssimo câmbio automático !), preço do seguro, espaço interno (faça um test drive com toda família antes !) e lerdeza, embora o modelo 2010 pra frente (minha mulher tem um 2013) esteja bem melhor que o meu 2009 nesse último aspecto.
Pontos fortes do TR4: único off-road da categoria com 4x4 reduzida + ABS + EBD + air-bags, único off-road da categoria com câmbio automático (é ruim, mas é automático), muito (muito !) robusto e não abre o bico pra buraqueira aqui da cidade, esterça muito bem e cabe em qualquer vaga.
Já que está disposto a pagar mais ou menos R$ 80.000 no TR4 zero km, aproveite e veja o Grand Vitara III. Pro seu tipo de uso, talvez seja melhor que o Jimny.
Boa sorte na escolha !

Neilson