Nacque il 23 gennaio 1887 a Kallosemjen da una famiglia dell'antica nobiltà unghererese. Ebbe una educazione raffinata studiando scienze politiche a Parigi, Ginevra e Londra. La sua carriera politica iniziò abbastanza presto ma - per un lungo periodo - si svolse a livello locale.
I suoi interessi erano rivolti soprattutto ai problemi dell'Agricoltura e fu per questo che il 1° ottobre 1932 venne chiamato a dirigere il ministero dell'Agricoltura nel governo guidato da Gyula Gombos e rimanendo in carica sino al 9 gennaio 1935. Le sue dimissioni furono determinate dalla politica troppo spostata a destra del primo ministro. Kallay rimase estraneo alla politica sino al 1942. Essendo legato da un profondo rapporto di amicizia con il reggente Horthy mantenne l'incarico speciale di Commissario all'Irrigazione.
Kallay rappresentava il prototipo della 'vecchia guardia aristocratica' interessata a mantenere intatto lo status quo della prevalenza aristocratica.
Il 9 marzo 1942 Horthy lo nominò Primo Ministro in sostituzione di Laszlo Bardossy giudicato troppo sbilanciato verso la Germania nazista.
Per tutto il 1942 Kallay ebbe la certezza che le vittorie tedesche sul fronte russo avrebbero condotto ad una rapida conclusione della guerra ad Est. Questa certezza venne scossa dalla distruzione della Seconda Armata Ungherese nel gennaio 1943 ad opera dei Sovietici. Il successivo disastro tedesco a Stalingrado lo convinse definitivamente che la Germania non avrebbe vinto la guerra. Maturò quindi la decisione di recidere progressivamente i legami con i nazisti e di sottrarre l'Ungheria ad una sconfitta militare.