Embora não seja um símbolo estabelecido, de fato é comum usar "h" para denotar altura, especialmente em física e matemática básica (embora o símbolo não costume constar em listas de símbolos matemáticos, como esta ou esta).
Além do inglês height, também em alemão, Höhe, e em francês, hauteur, "altura" começa com "h" e nelas também se costuma usar esse símbolo para denotar a grandeza "altura" — portanto parece plausível que esta seja a origem do uso do símbolo.
Os usos mais antigos desse uso que encontrei numa busca cursiva em alemão e francês foi em 1904 (facsímile) e 1843 (facsímile) respectivamente.
Outra possibilidade, aventada pelo OP nos comentários, é que o uso do "h" remonte ao grego antigo: ὕψος (/hýp.sos/, "altura"), como encontrado em Os Elementos de Euclides (e-print da tradução paralela por R. Fitzpatrick), mas não encontrei evidências que apoiem essa ideia.