Nacque in Russia a Ilino, un piccolo villaggio presso la città di Velikie Luki nel 1877. Giovanissimo seguì la famiglia a Lodz. Lavoro - con scarsa fortuna economica - come commerciante. Per alcuni anni fu direttore dell'Orfanotrofio Ebraico di Helenowek, vicino a Lodz. Nel 1937 venne eletto tra i dirigenti della locale Comunità ebraica in rappresentanza del partito sionista dal quale ben presto si staccò. Quando i tedeschi occuparono Lodz l'8 settembre 1939 sciolsero la Comunità , crearono uno Judenrat e il 13 ottobre ne nominarono Rumkowski capo. Rumkowski ebbe pieni poteri sul Ghetto e lavorò in stretto contatto con la Gettoverwaltung (l'amministrazione tedesca del ghetto) diretta da Hans Biebow. Il Ghetto di Lodz rappresentava per i tedeschi una utile fonte di lavoro coatto praticamente gratuito. Così a Rumkowski venne dato l'ordine di costruire fabbriche ed organizzare il lavoro degli ebrei. Vi si dedicò con un impegno sbalorditivo: furono create più di 100 fabbriche dipendenti dalla amministrazione tedesca. Convinto che il lavoro avrebbe portato gli abitanti del Ghetto a divenire indispensabili all'economia tedesca, si trasformòin un vero dittatore all'interno del ghetto. In realtà la sua strategia si rivelò fallimentare. Quando - alla fine del 1941 - venne creato il campo di sterminio di Chelmno i tedeschi imposero imponenti deportazioni Rumkowski dovette personalmente "selezionare" gli ebrei non abili al lavoro o comunque superflui. Nei primi sei mesi del 1942 vennero deportate a Chelmno 55.000 persone e qui uccise. Tra il 5 ed il 12 settembre i tedeschi deportarono altre 20.000 persone, questa volta senza che a Rumkowski fosse chiesto di redigere la lista. L'azione, di una brutalità inaudita, anziché convincere Rumkowski delle intenzioni dei tedeschi, lo indusse a rafforzare la sua illusione che il lavoro avrebbe salvato la rimanente popolazione del Ghetto. Verso la fine della primavera del 1944 i tedeschi decisero di liquidare definitivamente il ghetto e fu Rumkowski a "selezionare" le persone destinate alla morte.

Altre 7.176 persone vennero deportate ed uccise a Chelmno. Tuttavia le operazioni procedevano troppo a rilento per le SS, i sovietici avanzavano e il Ghetto era ancora in vita. Così all'inizio di agosto lo Judenrat venne sciolto, le fabbriche chiuse e si diramarono ordini per la deportazione. Rumkowski fu ancora una volta strumento dei tedeschi facendosi portavoce degli ordini e spingendo gli ebrei a ubbidire. Tuttavia - sperando in una rapida avanzata sovietica - gli abitanti rifiutarono di consegnarsi e adottarono tutte le tecniche possibili per ritardare le operazioni. La tanto attesa offensiva russa però si arrestò e i tedeschi ebbero il tempo di catturare casa per casa gli ebrei. Alla fine dell'operazione erano state catturate 74.000 persone che vennero inviate ad Auschwitz. Lo stesso Rumkowski venne deportato il 30 agosto 1944 e inviato immediatamente alla camera a gas.