Al suo arrivo in Norvegia Terboven aveva creduto di trovare una popolazione amichevole così come aveva garantito Quisling il capo del locale partito filonazista. Viceversa si trovò ad affrontare una resistenza che fu dapprima passiva e che ben presto si trasformò in guerriglia.
I suoi metodi furono feroci e spietati.
In questo venne coadiuvato dal Capo Supremo delle SS in Norvegia Rediess.
Insieme a quest'ultimo coordinò ed autorizzò azioni contro la Comunità Ebraica norvegese, contro la resistenza e creò una catena di campi di concentramento nel Paese.
Fu incapace di avvicinare la popolazione agli "ideali" nazisti e creò una serie di governi fantoccio che non si dimostrarono mai realmente collaborativi con i tedeschi.

All'arrivo delle truppe alleate si suicidò insieme a Reidess facendosi saltare in aria su una carica di dinamite l'8 maggio 1945.

Nato il 23 maggio 1898 a Essen Josef Terboven partì volontario nella Prima Guerra Mondiale nel giugno 1915.
Sopravvisse al conflitto e uscì dall'esercito il 22 dicembre 1918 con il grado di tenente della riserva.
Tra il 1919 ed il 1921 studiò legge a Monaco di Baviera e a Friburgo.
A partire dal 1923 e fino al 1925 lavorò in una banca di Essen.
Il 4 agosto 1925 si iscrisse al Partito Nazionalsocialista (tessera 25247) ricoprendo diverse cariche nella gerarchia del Partito ad Essen.
Il 1° agosto 1929 venne creato gauleiter di Essen da Hitler.
A partire dal 1930 fu membro del Parlamento.
Il 24 aprile 1940 per ordine di Hitler lasciò il suo posto di gauleiter per divenire Reichskommissar in Norvegia.
Ben presto il nome di Terboven divenne per i norvegesi sinonimo di dispotismo e terrore.