Não encontrei recomendações sobre este tópico em lado nenhum. De maneira que fui ver o que o uso literário consagra.
Como se vê no painel 1 dos resultados do Google Books, a que horas é de longe muito mais comum que a que hora (por exemplo, 1650 ocorrências de a que horas é contra 106 de a que hora é). Mas, como mostra o painel 2, esta preferência pelo plural inverte-se quando perdemos a preposição a: nós dizemos a hora da partida (ainda não foi marcada), e não as horas da partida. E no entanto em qualquer dos casos hora e horas significam momento (a que horas parte = em que momento parte, a hora da partida = o momento da partida). Logo, não vejo argumento contra a forma minoritária a que hora.
Resultados da busca no Google Books
1. é chega parte sai vai vais
A que hora 106 25 52 34 52 1
A que horas 1650 366 360 506 424 70
2. do espetáculo do show da reunião da partida da chegada
A hora 343 396 704 3940 1270
As horas 1 1 2 10 1
3. de de ir de dormir de você de te de te ires
É hora 59600 2690 1340 2950 216 1
São horas 6800 799 443 8 206 17
Uma possível explicação para a preferência por a que horas é que a resposta pretendida é uma hora exata:
«A que horas começa o show?» «Começa às nove horas.»
Já a hora disto e a hora daquilo aparece muito a seguir ao verbo chegar:
Chegou a hora de ir para a cama (é verdade).
Chegaram as horas ou chegou as horas de ir para a cama soaria estranhíssimo. O Painel 3 mostra que o verbo ser já aceita bem as horas de, mas as últimas três colunas indicam que isto se deverá desproporcionalmente a Portugal. Foi o único aspeto em que detetei diferença entre Portugal e Brasil (no painel 2, a coluna do show deve ser praticamente só Brasil, mas tem o mesmo padrão que as outras; no painel 1, a última coluna deve ser desproporcionalmente Portugal, e também tem o mesmo padrão que as outras.)