O zumbido de que estamos falando não é aquele que toda bomba faz. Estamos falando de um barulho completamente anormal, que incomoda até mesmo com o carro em movimento.
Eu só descobri que o barulho na bomba de baixa pressão era causado por problemas na tal válvula da bomba injetora quando o carro parou de funcionar. O mecânico (que já desconfiava do problema) trocou a tal válvula e ambos os problemas desapareceram: tanto a pane do motor quanto o barulho na bomba de baixa pressão.
Aliás, espero que isso possa ajudar outras pessoas com o mesmo problema, pois antes de descobrir a solução eu pesquisei muito na internet, e não encontrei ninguém que tivesse passado nem perto da resposta correta.
Então resumindo: um pequeno zumbido na bomba de baixa é normal. Um barulho alto a ponto de ser ouvido com o carro em movimento não é normal. Esse barulho alto é sinal de anomalia, mas não na própria bomba de baixa pressão. O problema pode ser (como foi meu caso) a válvula reguladora de pressão da bomba injetora.