Uma alavanca de câmbio jamais deve ser forçada.
Se você observar, todos os manuais de veículos alertam para não dirigir com a mão na alavanca.
No seu caso o barulho pode ter diminuido, mas andar com elástico pode fazer com que os garfos da caixa esbarrem (mesmo que de leve) nas engrenagens, causando um grande prejuízo futuro.
Verifique se sua alavanca não tem excesso de folga ou se o pino-trava não está gasto.
Abraços