Nato l'8 novembre 1906 fece una rapida carriera nelle SS anche per il fatto di essere nipote dell'ammiraglio Canaris capo dei servizi segreti militari (ABWEHR).
Raggiunse il grado di SS-Standartenführer e Oberst der Polizei (Colonnello della Polizia) il 9 novembre 1942. Nel 1943 era Ispettore della Polizia di Sicurezza (Inspekteur der SIPO) del distretto di Bialystok. In questa veste operò insieme al suo superiore Prützmann nello sterminio degli ebrei dell'area e nell'eliminazione del ghetto di Bialystok.
Sostituì come Plenipotenziario della Polizia di Sicurezza e dell'SD del Belgio Ernst Ehlers. In questo ruolo - che ricoprì sino all'arrivo delle truppe alleate - si distinse per le operazioni contro la Resistenza e per i rastrellamenti degli ultimi ebrei inviati ad Auschwitz.

Catturato dall'esercito statunitense venne tenuto in prigionia dal 1945 al 1951. Gli americani (come recentemente dimostrato dai documenti resi pubblici nel 1999) interrogarono a lungo Canaris sui rapporti tra Heydrich e suo zio senza minimamente porre domande sulla sua attività di sterminatore.
Consegnato al Belgio venne condannato a 20 anni di prigioni il 4 agosto 1951. Successivamente e inspiegabilmente, venne rilasciato nell'aprile 1952.
Uscito di prigione trovò lavoro alla Henkel Werke. Soltanto nel 1980 venne nuovamente indagato e imputato per i crimini commessi in Belgio. Riconosciuto fisicamente incapace di sostenere il processo venne scarcerato. Si ignora la data della morte.