Nacque il 1° marzo 1892 a Rottenacker in una famiglia di contadini. Si arruolò nell'esercito nel 1912. Partecipò alla Prima Guerra Mondiale venendo ferito quattro volte. Alla fine della guerra dopo aver militato nei Freikorps del Württenberg (una formazione paramilitare di estrema destra) rientrò nell'esercito nel 1919 lasciandolo nuovamente nel 1925. Nel 1930 si iscrisse al Partito Nazionalsocialista.
Diehm rappresenta la figura tipica del nazista "da scrivania" efficientissimo nell'eliminazione fisica dei nemici eppure apparentemente incolore. Costruì la sua carriera lentamente, scalino per scalino all'interno delle SS arrivando sino al grado di Brigadeführer.
Uomo di amministrazione, digiuno delle tecniche di Polizia delle SS, venne utilizzato nell'RSHA dal marzo 1942 al novembre 1944. Contemporaneamente il 1° aprile 1942 venne inviato in Ucraina per un periodo di formazione sul campo.
Dall'aprile 1943 al gennaio 1944 fu capo della polizia del distretto di "Shitomir" in Russia e dal febbraio al settembre 1944 in quello di "Lemberg".
Fu poi ufficiale di collegamento di Himmler presso il gruppo di armate "Springer" sul fronte occidentale fino al dicembre 1944.
In contemporanea con questo incarico fu comandante dal settembre 1944 a metà gennaio del 1945 dell'area "Belgien-NordFrankreich".
Sostituì Richard Jungclaus cercando inutilmente di contenere l'avanzata alleata in Belgio. Negli ultimi mesi di guerra fu ispettore della milizia popolare (Volkssturm).

Probabilmente proprio a causa della sua scarsa visibilità e della sua mediocrità non venne mai indagato e morì a Rottenacker il 21 febbraio 1960.