Nel partito nazista (1920-1929)

Himmler prese contatto con il Partito Nazista negli anni Venti. A introdurlo in questo circolo fu Ernst Rohm. Nel 1923 partecipò al fallito colpo di Stato di Monaco di Hitler.
Gregor Strasser, fondatore del Partito, nel 1924, gli offrì il posto di assistente e segretario, l'ideologia di Himmler si mescolò all' ambizione di far carriera.
Si iscrisse alle SS nel 1925. Le qualità organizzative e burocratiche di Himmler furono immediatamente apprezzate.
Le SS che negli anni Venti erano poche decine di uomini crebbero insieme all'avanzare della carriera di Himmler che, nel 1929, ne divenne il capo.
Sotto la sua direzione le SS divennero velocemente un corpo sempre più numeroso. Il 3 luglio 1928 Himmler sposava Margarete Boden, figlia di un proprietario terriero della Prussia orientale. Dal matrimonio nacque una figlia, Gudrun.

La conquista del potere (1930-1939)

Nel 1933 Himmler, dopo la presa del potere da parte dei nazisti, fu nominato capo della polizia di Monaco e capo della polizia politica della Baviera.
Apparentemente nella corsa agli incarichi di prestigio Himmler aveva perso la gara ma era ancora Reichsführer delle SS carica che gli garantiva una base di potere. Lentamente Himmler pose sotto il suo comando la polizia politica bavarese, e una dopo l' altra, le forze di polizia degli altri stati tedeschi.
Nel 1931 avvalendosi della collaborazione del suo luogotenente Reinhard Heydrich, fondò l'SD, il servizio segreto delle SS. Nel 1933 creò il primo campo di concentramento a Dachau ponendo le basi a quell'universo concentrazionario che sarebbe stato poi il suo regno.
Himmler giocò un ruolo fondamentale nella eliminazione delle SA e di Rohm nel 1934 durante la cosiddetta "Notte dei lunghi coltelli". La fedeltà di Himmler venne premiata nel 1936 quando Hitler lo nominò formalmente capo della polizia tedesca.
Il disegno di Himmler era di svincolare le sue SS dal controllo dello Stato e e dello stesso Partito Nazista. Himmler creò così uno Stato nello Stato che ben presto avrebbe terrorizzato sia i nemici del regime che i suoi avversari personali.
Hitler approvò l' espansione e la diversificazione delle SS, a volte scavalcando l'opposizione delle istituzioni governative.

Himmler diede alle sue SS una struttura complessa creando le unità "generali" (Allgemeine-SS) e le unità da combattimento (Waffen-SS).
Le Waffen-SS erano vere e proprie unità armate che crebbero gradatamente sino a raggiungere ile 35 divisioni.
Prima delle Waffen-SS nel 1938 Himmler creò le unità «Teste di morto», il cui compito consisteva nella gestione dei campi di concentramento e sterminio. All'inizio della guerra le «Teste di morto» erano quasi 24.000.