Nacque a Düsseldorf il 10 settembre 1898 e studiò legge a Bonn e Koln. Nel 1929 era consigliere del Ministro degli Interni di Prussia. Militò prima del 1933 nel Partito Cattolico di Centro.
Una volta arrivato il nazismo al potere Globke - pur non aderendo mai al Partito Nazista - divenne uno strumento per la politica di discriminazione e disumanizzazione degli ebrei. In questo senso collaborò alla redazione delle Leggi di Norimberga del 1935, Divenne famoso per un commentario sulle leggi discriminatorie scritto insieme a Wilhelm Stuckart e per la sua partecipazione alla redazione della Legge sulla Cittadinanza Tedesca e della Legge per la protezione del sangue e dell'onore tedesco.
Fu il responsabile della legge che obbligò tutti gli ebrei ad aggiungere "Israel" e le ebree "Sara" al proprio nome.
Studiò i provvedimenti legislativi che resero legalmente possibile l'espropriazione dei beni degli ebrei inviati ai campi di concentramento a favore dello Stato.
Lavorò a stretto contatto con Himmler per l'applicazione delle leggi di Norimberga a tutta l'Europa occupata dai nazisti.

Alla fine della guerra venne arrestato ma rilasciato perché ritenuto soltanto un "servitore dello Stato".
Nell'allora Germania Ovest venne eletto deputato al Parlamento nelle file del Partito Cristiano Democratico (CDU) nel 1953 addirittura Segretario di Stato nella Cancelleria di Adenauer.
Benché presentasse diverse volte le sue dimissioni a seguito delle polemiche sul suo passato venne sempre difeso dal Cancelliere Konrad Adenauer, che riteneva fondata l'autodifesa di Globke.
Secondo Globke infatti la sua opera sotto il regime nazista contribuì a mitigare leggi più repressive richieste da Hitler.
Si ritirò a vita privata in Svizzera nel 1963 e morì a Bad Godesberg il 13 febbraio 1963.