Nacque il 4 ottobre 1903 a Ried in Austria figlio di un avvocato. Si iscrisse inizialmente alla Facoltà di Chimica per poi passare a Giurisprudenza ottenendo la lurea nel 1926.
Spostatosi a Linz per compiervi il suo praticantato legale venne a contatto con i nazisti austriaci. Verso la metà dell'ottobre 1930 si iscrisse al Partito Nazista Austriaco. Si arruolò nelle SS il 31 agosto 1931.
Quando le autorità austriache misero fuori legge il partito nazista Kaltenbrunner venne arrestato e imprigionato dal gennaio all'aprile 1934. Arrestato nuovamente nel maggio 1935 con l'accusa di tradimento, venne condannato a sei mesi di carcere e gli venne proibito di esercitare l'attività forense.
Nonostante il partito nazista fosse illegale Kaltenbrunner continuò la sua carriera nelle SS raggiungendo il grado di SS-Oberführer il 20 aprile 1937. Una volta annessa l'Austria venne promosso SS-Brigadeführer e nominato fino alla metà di agosto "governatore" dell'Ostmark, ossia dei territori dell'ex Austria.
Dal 1939 sino alla fine della guerra fu deputato al Parlamento. La sua carriera ebbe una insperata svolta grazie all'uccisione di Heydrich ad opera di partigiani cecoslovacch. Quando Heydrich morì il 4 maggio 1942 Himmler decise di affidare a Kaltenbrunner la direzione dell'Ufficio Centrale per la Sicurezza del Reich (RSHA). Grazie a questo incarico Kaltenbrunner divenne l'uomo più potente del Reich dopo Himmler. Come capo dell'RSHA era anche sottosegretario al Ministero degli Interni.
Carratterialmente Kaltenbrunner era un nazista fanatico ed estremista ma assai meno intelligente di Heydrich e perciò considerato decisamente meno pericoloso da Himmler.
Il ruolo di Kaltenbrunner nella politica genocida nazista fu enorme.
Egli era il capo supremo della macchina di distruzione e ai suoi ordini operava Eichmann e i suoi uomini le cui azioni ricevevano il consenso di Kaltenbrunner. L'intero sistema concentrazionario nazista era dipendente da lui e se l'idea dello sterminio totale dell'Ebraismo europeo venne da Heydrich fu Kaltenbrunner a realizzarlo.
Conosceva perfettamente le condizioni dei campi che visitò più volte. Ordinò personalmente la deportazione degli Ebrei dalla Danimarca.
Dopo l'attentato a Hitler del 20 luglio 1944 fu l'organizzatore della repressione che condusse alla morte 8.909 persone sospettate di aver partecipato alla congiura. Fu lui ad insediare a capo del tribunale speciale il giudice-boia Roland Freisler.
Alla sconfitta della Germania fuggì in Tirolo ma venne catturato dagli statunitensi il 15 maggio 1945.
Giudicato nel primo e principale processo di Norimberga. Venne impiccato il 16 ottobre 1946.