Gustav Simon nacque a Saarbrücken il 2 agosto 1900. Fu insegnante di materie commerciali a Coblenza.
Si iscrisse la Partito Nazionalsocialista nel 1925 divenendo presto funzionario di partito a tempo pieno come capo distretto (Besirkleiter) nella regione di Trier-Birkenfeld nel 1928 e, successivamente, nel distretto di Koblenz-Trier nel 1929.
Nel 1930 venne eletto al Parlamento nazionale nel 1930. e nel 1931 venne nominato Gauleiter nel distretto di Koblenz–Trier–Birkenfeld (ridenominato Gau Moselland nel 1942).
Nel 1940 assunse l'amministrazione civile del Lussemburgo occupato. A partire dal 1942 divenne Obergruppenführer delle SS Commissario del Reich.

Alla fine del conflitto venne arrestato per crimini di guerra. Riuscì a sottrarsi al processo suicidandosi il 18 febbraio 1945 a Paderborn.

Fu un solerte strumento dello sterminio nel Lussemburgo. Già nel settembre 1940 presentava ad Hitler un documento-progetto nel quale delineava le sue linee d'azione per la definizione, l'espropriazione e il concentramento.
A collaborare strettamente con lui nelle operazioni antiebraiche era una unità speciale: l'"Einsatzkommando Luxembourg" direttamente dipendente dall'RSHA di Berlino e comandato da Wilhelm Nölle e Erich Hartmann.