Nacque il 4 febbraio 1895 a Klagenfurt in Austria. Nel 1933 si iscrisse al Partito Nazionalsocialista austriaco compiendo una folgorante carriera sino al grado di SS-Obergruppenfuhrer.
Il suo primo incarico fu nelle SA dove, dal 1933 al 1935, si occupò di assistenza ai nazisti austriaci fuggiti dal loro Paese e riparati in Germania. .
Divenne successivamente ufficiale di Stato Maggiore di Himmler tra il giugno 1936 ed il novembre 1938.
Fu poi a Breslau come capo delle SS locali sino al settembre 1940.
Dopo l'invasione dell'Olanda venne nominato capo supremo delle SS e della Polizia dell'Olanda occupata rimanendo in questa carica sino all'8 maggio 1945.
Figura di primo piano nella eliminazione degli ebrei olandesi fu agli ordini di Arthur Seyss-Inquart Commissario del Reich per l'Olanda occupata. Operò in modo spietato e crudele insieme ai suoi collaboratori Wilhelm Harster e Karl Schongart.

Alla fine della guerra Rauter venne arrestato mentre era in ospedale per i postumi delle ferite subite in un attentato (che costò 263 vittime fucilate per rappresaglia) a Eustin una località tedesca al confine con la Danimarca. Consegnato agli olandesi venne processato e fucilato il 25 marzo 1949.