Nacque da un'umile famiglia a Elberfeld nel Rihneland nel 1896. Dopo le scuole superiori commerciali divenne un impiegato nelle ferrovie.
Dopo aver partecipato alla Prima Guerra Mondiale si aggregò ai Freikorps (unità irregolari paramilitari di estremisti). Fu uno dei primissimi nazisti con la tessera 90.
Nel 1928 venne nominato Gauleiter (responsabile del partito) per la Prussia Orientale. Nel 1930 venne eletto deputato al Parlamento. Quando i nazisti raggiunsero il potere venne nominato Presidente della Prussia Orientale.
Nel 1941 venne nominato Reichskommissar dell'Ucraina e governatore del distretto di Bialystok nonostante l'opposizione di Alfred Rosenberg che avrebbe voluto estendere la sua giurisdizione anche su questi territori.
L'area amministrata da Koch era estremamente ampia: dal Baltico al Mar Nero. Il suo governo fu sanguinario e crudele convinto com'era della necessità di soggiogare alla volontà tedesca gli slavi considerati come un popolo inferiore. Nell'amministrare il territorio affidatogli si scontrò spesso con Rosenberg che in teoria doveva essere il suo capo.
Fu ispiratore e sostenitori di tutti gli orrendi massacri che vennero commessi nella sua area di controllo.
Finita la guerra visse alcuni anni nello Schleswig-Holstein sotto falso nome. Arrestato dagli inglesi venne estradato in Polonia nel 1950.
Nel 1959 venne processato e condannato a morte per impiccagione a causa del suo stato di salute la pena venne commutata in ergastolo. Morì in prigione nel 1986.