Thiago,
Não é
OBRIGATORIO marcar hora para atravessar o canal para Ilhabela e nem para retornar, porem se não quiser aguardar na fila vc pode marcar a hora da travessia com antecedencia, não lembro ao certo, mas acho q no minimo com um dia de antecedencia!!!
Na IDA para Ilhabela:
Sem hora marcada vc entra na fila e aguarda, paga a tarifa normal e embarca.
Com hora marca vc chega lá e embarca pagando mais caro e passa na frente de todo mundo (pode ter 100 carros na fila que vc entra antes).
No retorno para São Sebastião:
Sem hora marcada vc entra na fila e paga apenas essa taxa ambiental e aguarda na fila o tempo necessario.
Com hora marcada vc paga a taxa ambiental mais a taxa da hora marcada e embarca imediatamente.
EDIT: Mais info:
http://www.dersa.sp.gov.br/travessias/horamarcada.asp
http://www.dersa.sp.gov.br/travessias/tarifas.asp
Abraço,
Thiago Pereira