Heinz Jost nacque il 9 luglio 1904 ad Holzhausen. Studiò legge ed economia a Giessen e Monaco di Baviera. Dopo la laurea lavorò presso il tribunale di Darmstadt.
Nel febbraio 1928 si iscrisse al Partito Nazionalsocialista e successivamente alle SA e poi alle SS.
Allo scoppio della guerra partecipò alla campagna di Polonia nelle fila delle SS. Di qui passò a Berlino all'RSHA dove divenne capo dell'Ufficio VI che si occupava di spionaggio all'estero.
Il 29 marzo 1942 venne nominato comandante dell'Einsatzgruppe A in sostituzione di Walter Stahlecker ucciso in combattimento dai partigiani russi. Nel giro di un mese Jost poteva riferire a Berlino: "Un totale di 1272 persone sono state fucilate, di queste 983 erano ebrei con malattie infettive o troppo anziani per lavorare, 71 zingari, 204 comunisti e altri 14 ebrei trovati colpevoli di differenti crimini".
Durante il suo periodo di comando, il 15 giugno 1942, attraverso il suo subordinato Truebe, fece richiesta di automezzi per la gasazione. Al processo Jost sostenne di essersi opposto agli ordini di sterminio che gli giungevano da Berlino e che pagò questa opposizione con la rimozione da capo dell'Einsatzgruppe A e successivamente con l'invio sul fronte orientale con il grado di sergente pur conservando l'alto grado di Brigadeführer nelle SS.
Questa storia non trova alcun riscontro e non ne trovò neppure al processo. C'è da notare che questa opposizione al massacro degli ebrei millantata da Jost durante il processo, è smentita da una lettera del 15 giugno 1942 scritta dal Regierungsrat (funzionario della amministrazione civile) Trampedach a Kube, commissario generale della Bielorussia. Nella sua lettera Trampedach riferisce di aver parlato con Heinz Jost a proposito dell'opportunità di lasciare in vita gli operai specializzati ebrei. Jost aveva replicato che il valore degli operai ebrei non era così alto da rischiare il pericolo che questi appoggiassero il movimento partigiano. Perciò sarebbe stato più opportuno eliminarli.
Riconosciuto colpevole Jost venne condannato all'ergastolo ma la sentenza venne commutata da una corte di clemenza a dieci anni di prigione. Jost morì nel 1964.