Dopo essere stato gravemente ferito alla mano, fu decorato con la croce di ferro di 2' classe, congedato dall'esercito col grado di sottotenente della riserva e assegnato, il 25 gennaio 1918, al governo di Stettino come consigliere di 4" classe per completare la sua formazione di funzionario statale. Nominato consigliere di 3" classe nell'ottobre 1920, entrò come ausiliario nel ministero degli Interni prussiano e lavorò poi a Essen nell'Ufficio della circoscrizione. Nell'ottobre 1923 diventò consigliere di 2' classe.
Tornato a Berlino nel dicembre 1924, entrò come ausiliario nel ministero del Commercio e dell'Industria prussiano. Nel novembre 1926, dopo aver accumulato numerose esperienze, si trasferì a Freystadt, in Slesia, diventando presidente della giunta regionale.
Dopo due anni di servizio, il 10 ottobre 1928, diventato ormai direttore di divisione di ministero, fu richiamato al ministero prussiano dell'Industria e del Commercio. Nel settembre 1932, quando il governo prussiano guidato dai socialdemocratici era ormai caduto ed era stato sostituito da un governo di commissari statali, Neumann fu chiamato al ministero di Stato prussiano "per speciali prestazioni di servizio". L'11 febbraio 1933, a pochi giorni dalla nomina a ministro di Franz von Papen, riuscì a salire di grado diventando direttore generale di ministero.
Quanto alla sua futura carriera, Neumann se la garantì il 10 maggio 1933 entrando nella NSDAP (tessera n. 2645 024) e aderendo alle SS {tessera n. 222 014). Il 15 settembre 1933 divenne membro del consiglio di Stato prussiano.
Nel 1936 Hermann Göring, che, dopo l'estromissione di von Papen, era diventato capo del ministero prussiano, fece entrare l'esperto funzionario ministeriale nell'Ufficio del Piano quadriennale da lui diretto - il centro organizzativo dell'economia di guerra - egli affidò uno dei compiti più ardui, la direzione del settore Divise.
Incurante della ferita riportata in guerra, Neumann si sottopose, nel 1935, nel 1936 e nel 1937, a brevi periodi di addestramento nella Wehrmacht, dove servì nel IX Reggimento di cavalleria di stanza a Fürstenwalde, ottenendo il grado di sottotenente della riserva.
Più rapida fu la sua carriera nei ranghi onorari delle SS. Il 13 agosto 1934 fu nominato Sturmbannführer, nel 1936 Obersturmbannführer, nel 1938 Standartenführer e nel 1939, prima dello scoppio della guerra, Oberführer. All'epoca aveva già ottenuto (luglio 1938) uno dei due posti di segretario di Stato presso il responsabile del Piano quadriennale (il secondo era occupato da Göring con Paul Korner).
In quella veste, egli intensificò i suoi rapporti con l'industria; divenne vicepresidente del consiglio di vigilanza della Kontinentale Oel AG e secondo vicepresidente del consiglio di vigilanza della Deutsche Revisions- und Treuhand-AG, entrambe con sede a Berlino.
Era membro dell' Accademia di diritto tedesco e faceva parte del comitato di diritto comunale e amministrativo di quest'ultima. Per i suoi meriti nell'organizzazione dell'economia bellica, Neumann ricevette, nel 1941, la croce al valor militare di l" classe. In veste di partecipante alla conferenza del Wannsee, il segretario di Stato di Göring rammentò l'esigenza di utilizzare ebrei nell'industria bellica e Heydrich promise che ne avrebbe tenuto conto, come del resto era avvenuto fino a quel momento.
Sebbene questo suo richiamo, che venne messo a verbale, non potesse essere considerato una obiezione al programma di sterminio, Robert M. W. Kempner se ne ricordò al momento dell'interrogatorio di Neumann a Norimberga.
Con il venir meno dell'influenza di Göring e del suo Ufficio del Piano quadriennale nell'ambito dell'economia di guerra, e a fronte dell'affermarsi di un nuovo metodo per entrare in possesso di divise, vale a dire l'espropriazione e il saccheggio, il posto di segretario di Stato di Neumann divenne superfluo. Nel 1942 egli abbandonò la carriera statale, caso unico nello stato nazista, e divenne direttore generale del Deutscher Kalinsyndikat GmbH. Con l'assenso di Himmler, necessario per via dei complessi rapporti con l'estero, egli divenne anche membro del consiglio consultivo della banca Conti.
Morì di malattia nel 1948 prima che gli fosse intentato alcun processo.