Nacque il 16 ottobre 1909 a Spaanenshoop. Entrò nel partito nazista nel 1928 e, dieci anni più tardi, nelle SS divenendo SS-Sturmbannführer.
Laureato in legge ebbe il suo primo incarico di rilievo come membro dell'Einsatzgruppe B, unità mobile di massacro, impegnata nello sterminio degli ebrei in Unione Sovietica. Inizialmente Ehlers era stato incaricato di comandare l'Einsatzkommando 8 ma venne sostituito all'ultimo momento da Bradfisch, un altro ufficiale delle SS. A questo proposito Ehlers durante il processo tenutosi nel 1961 contro Otto Bradfisch, cercò di sostenere nella sua deposizione di aver volontariamente richiesto di essere adibito ad altro incarico per non partecipare ai massacri. In realtà Ehlers fu sostituito da Bradfisch per ordini superiori. Secondo la testimonianza del comandante dell'Einsatzkommando 9, Alfred Filbert, Ehlers era molto irritato per questo cambiamento di ordini ed era convinto di essere stato "bruciato" dal più raccomandato Bradfisch. In realtà Ehlers quando venne inviato al quartier generale dell'Einsatzgruppe B ordinò in diverse occasioni le fucilazioni degli ebrei. Ehlers rimase all'Einsatzgruppe B dal giugno al 29 settembre 1941.
Trasferito in Belgio divenne il capo della polizia e delle SS e, in questo incarico, fu responsabile della deportazione di circa 20.000 persone e nell'organizzazione dei campi di concentramento di Breendonck e Mechelen.
Nel 1943 venne trasferito all'RSHA all'ufficio VII-A che si occupava di ideologia ed ebraismo.

Dopo la guerra trovò lavoro presso gli uffici legali della provincia dello Schleswig-Holstein dove per anni rimase indisturbato.
Grazie all'impegno dell'Unione Ebraica Belga venne finalmente imputato per i crimini commessi.
Ehlers si sottrasse al giudizio suicidandosi il 4 ottobre 1980 poco prima che la Corte della città di Kiel aprisse il processo.