Nacque il 4 marzo 1875 a Fot da una importante famiglia della aristocrazia ungherese. Di orientamento conservatore venne eletto nel parlamento ungherese nel 1905 quando ancora l'Ungheria era parte dell'Impero Asburgico. Il 7 novembre 1914 sposò la nobile Katalin Gräfin Andrássy de Csik-Szent-Király et Kraszna-Horka dalla quale ebbe tre figli.
Abbastanza presto si convertì dal conservatorismo ad una visione progressista. Si impegnò allora per una riforma fondiaria che ridistribuisse la terra ai piccoli proprietari, per il suffragio universale e per l'uguaglianza di diritti e doveri tra Ungheresi e non Ungheresi. Le sue posizioni si fecero via via sempre più radicali arrivando a teorizzare l'indipendenza dell'Ungheria ed una alleanza con la Russia.
Noto per il suo carattere indipendente ed orgoglioso si batté in duello con Istvan Tisza primo ministro dell'epoca. Le posizioni politiche di Karolyi nella società asburgica dell'epoca erano considerate troppo progressiste se non estremistiche.
Nel luglio 1914 si trovava in Francia per raccogliere fondi per creare un proprio partito. Allo scoppio della guerra venne arrestato dai Francesi ed internato.
Riuscì a convincere il governo di Parigi a liberarlo sostenendo che, una volta ritornato in patria, avrebbe lottato per far uscire l'Ungheria dalla guerra. Per questo venne gradualmente isolato e nel 1916 fondò un suo partito che per tutta la durata della guerra si pose all'opposizione.
Con il crollo della monarchia asburgica nella Prima Guerra Mondiale i territori che facevano parte dell'impero austriaco cominciarono a staccarsi progressivamente. L'Ungheria non fece eccezione e il primo ministro Alexander Wekerle il 19 ottobre 1918 proclamò l'indipendenza dell'Ungheria. Carlo I - l'ultimo sovrano effettivo dell'Austria-Ungheria - licenziò Wekerle e chiamò Karolyi.
Questa mossa mirava a conservare la corona d'Ungheria alleandosi con un progressista non rivoluzionario. Il calcolo di Carlo I si rivelò sbagliato: non solo Karolyi non si adoperò per reprimere il nascente nazionalismo ungherese ma si pose alla sua testa arrivando a chiedere all'imperatore di scioglierlo da suo giuramento di fedeltà. Carlo I dovette accettare suo malgrado.
L'11 novembre 1918 Karolyi mise in atto l'ultimo definitivo strappo politico proclamando la Repubblica. Karolyi voleva staccare l'Ungheria dalle responsabilità dell'Impero Asburgico morente e sperava che i vincitori della guerra non avrebbero tolto territori al nuovo Stato. Tuttavia Karolyi si ingannava. In primo luogo gli Alleati (francia e Gran Bretagna) non rinuciarono alle pretese territoriali.