Angelo Guiseppe Roncalli werd na een studie theologie in Rome en zijn priesterwijding in 1904 secretaris van de bisschop van Bergamo, het bisdom vanwaar hij afkomstig was en ging er op het seminarie kerkgeschiedenis doceren. De bisschop, Giacomo Radini-Tedeschi zette zich in voor de textielarbeiders in zijn bisdom die vanwege de slechte betaling van hun loon in 1909 in staking waren gegaan.
Nadat bisschop Radini in 1914 overleed, werd Roncalli onder meer aalmoezenier in het Italiaanse leger en in 1921 directeur van de toenmalige Heilige Congregatie voor de Voortplanting van het Geloof. In 1925 volgde zijn benoeming tot apostolisch visitator in Bulgarije en werd hij tot bisschop gewijd. Dat was het begin van een carrière in de pauselijke diplomatieke dienst. Tot 1934 werkte hij in Sofia en daarna in Istanboel (tot 1937) en Athene (tot 1944). In opdracht van paus Pius XI (1922–1939) voerde hij een groot aantal diplomatieke missies uit in Europa en het Midden-Oosten. Tijdens de Tweede Wereldoorlog redde hij vele joden in Zuid-Oost Europa en later zou hij door Yad Vashem erkend worden als ‘rechtvaardige onder de volken’. Zijn laatste standplaats als nuntius was Parijs. In 1953 werd hij patriarch van Venetië en kardinaal.
Een belangrijke kandidaat tijdens het conclaaf van 1958 was kardinaal Giuseppe Siri, de aartsbisschop van Genua. Hij was de favoriet van de behoudende kardinalen, die de lijn van Pius XII wilden voortzetten. Ze slaagden er echter niet in om een meerderheid te verwerven. Dat kwam doordat ze onderling verdeeld waren. Velen aarzelden om voor Siri te stemmen omdat hij pas 52 jaar oud was. Dat zou betekend hebben dat ze waarschijnlijk een paus voor enkele tientallen jaren hadden gekozen, en dat ging velen te ver.
Mede daarom viel uiteindelijk de keuze op de 76-jarige Roncalli. Hij werd gesteund door de meer vooruitstrevende kardinalen, maar was ook voor de conservatieven aanvaardbaar.
Een lang pontificaat zou hem menselijkerwijs gesproken niet gegeven zijn en hij zinspeelde daarop toen hij na zijn verkiezing bekend maakte dat hij de naam Johannes aannam. Sinds 1334 had geen paus meer die naam gedragen. De nieuwe verklaarde dat Johannes de naam was van zijn vader en van de parochie waar hij gedoopt was. En verder zei hij dat van zijn 22 voorgangers die Johannes heetten de meesten slechts korte tijd paus waren geweest.
Daarmee leek hij zich neer te leggen bij zijn positie als tussenpaus, maar in werkelijkheid was hij van plan om de korte tijd die hem waarschijnlijk nog restte goed te gebruiken. Dat bleek al op 15 december 1958, toen hij de namen van 23 nieuwe kardinalen bekendmaakte. Daarmee kwam het totaal op 74 en dat was meer dan de limiet die paus Sixtus V (1585–1590) had gesteld.
Opzienbarender was zijn aankondiging op 25 januari 1959 dat er in september 1962 een concilie bijeengeroepen zou worden, dat daaraan voorafgaand er een bisschoppensynode zou plaatsvinden – hetgeen sinds de Middeleeuwen niet meer was voorgekomen – en dat het kerkelijk wetboek van 1917 herzien zou worden. Hij hield er namelijk rekening mee dat de uitkomsten van het concilie dit noodzakelijk zouden maken.
Toen Johannes XXIII deze aankondiging had gedaan tegenover de kardinalen die in de basiliek van Sint Paulus Buiten de Muren bijeen waren, viel er een stilte. Een deel van de aanwezigen was letterlijk stomverbaasd en een ander deel was geschrokken. Deze laatste groep curie-kardinalen zagen al voor zich hoe bisschoppen uit de hele wereld naar Rome zouden komen. Zíj zouden de koers gaan bepalen en niet de curie.
De curie probeerde daarom de organisatie van het concilie zo veel mogelijk in eigen hand te houden. Maar ze vonden Johannes XXIII op hun weg. Het Tweede Vaticaans Concilie werd dankzij hem een vergadering waarvoor de bisschoppen zelf de agenda bepaalden.
