Il 22 giugno 1941 prese il comando del Vorkommando Moscow, unità di sterminio mobile sotto gli ordini dell'Einsatzgruppe B succedendo al comando a Franz Six. Rimase in questa carica sino all'ottobre 1941.
Durante il suo comando il Vorkommando Moskau divenne un esempio di "efficienza" nello sterminio degli ebrei: al 26 ottobre 1941 aveva sterminato 2.457 persone.
Nella sua testimonianza al processo Klingelhöfer descrisse e ammise l'uccisione di 30 ebrei a Tatarsk, una cittadina vicina a Smolensk. Il motivo delle fucilazione fu che si erano allontanate dal ghetto senza permesso. In aggiunta fece fucilare tre donne sospettate di essere dei contatti della resistenza.
Su questo punto - a sua discolpa - sostenne di averle fatte fucilare bendando loro gli occhi e di averle sepolte in una fossa distinta da quella degli uomini. Al processo emerse con evidenza che la scusa di collusione con i partigiani era soltanto un pretesto. Infatti Klingelhöfer aveva ricevuto ed eseguì l'ordine di liquidare gli ebrei nella sua area:

"Quando venni assegnato da Nebe al comando del Vorkommando Moskau, Nebe mi ordinò di muovermi da Smolensk e di dirigermi a Tatarsk e Mistislavl per requisire pellicce per le truppe tedesche e liquidare parte degli ebrei. Gli ebrei erano già stati arrestati secondo l'ordine impartito dall'SS-Hauptsturmführer Egon Noack. Le esecuzioni vennero condotte da Noack sotto la mia supervisione"

Altrettanto illuminante è lo scambio di battute tra Klingelhöfer e il tribunale durante il processo:

Domanda: "Sarebbe stato felice se il Reich avesse avuto successo nei suoi sforzi di conquistare l'Europa?"

Klingelhöfer: "Vostro Onore, non so se gli sforzi del Reich mirassero a conquistare l'Europa. Ignoro questo aspetto. Ma, naturalmente, sarei stato felice se la Germania avesse vinto la guerra. Mi sembra una cosa naturale"

Domanda: "Sarebbe stato felice se la Germania avesse vinto la guerra anche al costo delle sue attuali condizioni: due milioni di tedeschi morti, la nazione ridotta in rovine e l'intera Europa devastata. A queste condizioni sarebbe stato felice se la Germania avesse vinto la guerra?"

Klingelhöfer: "Si"

Tra il dicembre 1941 ed il dicembre 1943 Klingelhöfer venne assegnato al quartier generale dell'Einsatzgruppe B. Tornato in Germania fu posto a capo dell'Ufficio VI dell'Ufficio Centrale per la Sicurezza del Reich. Successivamente operò come capo dei Servizi di Sicurezza a Fulda. Processato nel 1948 venne condannato a morte, pena commutata nell'ergastolo e, successivamente, venne rilasciato.