Jochim Mrugowsky nacque a Rathenow il 15 agosto 1905.
Si iscrisse al Partito Nazionalsocialista nel 1930 ed entrò nelle SS nel 1931. Raggiunse il grado di SS-Brigadeführer. Nel 1938 divenne membro dell'Ufficio Medico delle SS e nel 1939 fondava la Stazione di igiene e osservazione batteriologica delle SS a Berlino il cui scopo era combattere le epidemie nelle guarnigioni delle SS.
Nel 1940 la stazione divenne l'Istituto di Igiene delle Waffen SS e Mrugowsky ne divenne il capo e allo stesso tempo Capo dell'Ufficio di Igiene del Servizio Medico delle SS sotto gli ordini di Genzken.
In questa duplice veste Mrugowsky era l'esperto consultato per tutti i problemi relativi al controllo delle epidemie e all'igiene nelle Waffen-SS. Il 1° settembre 1943 il Servizio Medico delle SS venne riorganizzato e Mrugowsky e il suo Istituto di Igiene venne trasferito dagli ordini di Genzken a quelli di Grawitz. Anche sotto Grawitz Mrugowsky mantenne il proprio incarico.
Mrugowsky partecipò il 29 dicembre 1941 alla riunione che condusse alla decisione di sperimentare sugli esseri umani nei lager i vaccini contro il tifo petecchiale. La riunione mise in moto i terribili esperimenti condotti da Erwin Ding-Schuler nel campo di Buchenwald che portò alla morte di 151 prigionieri.
A partire dall'11 settembre 1944 Mrugowsky, Ding-Schuler e un certo dottor Widmann diedero inizio ad una sperimentazione con proiettili avvelenati. Quel giorno 5 prigionieri di guerra sovietici condannati a morte vennero usati come cavie. Vennero usati proiettili calibro 7,65 mm riempiti con un veleno in cristalli. I prigionieri vennero colpiti alla gamba. In due prigionieri il proiettile perforò la gamba e fuoriuscì e vennero perciò esclusi dal gruppo sperimentale. L'aconitina - il veleno utilizzato - uccise tutti e tre i prigionieri rispettivamente dopo 121, 123 e 129 minuti dal momento del colpo di pistola.
Mrugowsky partecipò indirettamente anche agli esperimenti condotti per testare la validità dei sulfamidici fornendo al dottor Gebhardt le culture virali inserite nelle ferite delle prigioniere e fu Mrugowsky a suggerire di inserire schegge di legno e pezzi di vetro nelle ferite per simulare lo sporco del campo di battaglia..
Come superiore diretto di Ding-Schuler, Mrugowsky diresse gli esperimenti condotti sul fenolo a Buchenwald e diede ordine che sia Ding-Schuler che il dottor Hoven partecipassero alla eliminazione dei prigionieri mentalmente disabili di Buchenwald nel quadro della operazione "14f13".
Catturato dagli Alleati Mrugowsky venne giudicato colpevole e condannato a morte. La sentenza venne eseguita per impiccagione nel carcere di Landsberg il 2 giugno 1948.