W 2001 roku Rogge zastąpił w MKOl Hiszpana Juana Antonio Samarancha, a na drugą kadencję wybrano go cztery lata później. Tym razem był jedynym kandydatem do funkcji przewodniczącego, a w głosowaniu otrzymał 81 głosów, a tylko jeden z delegatów był przeciwny.
Podczas obrad w Kopenhadze brazylijski działacz Joao Havelange zaproponował, by w obliczu jedynej kandydatury zatwierdzić ją przez aklamację, ale Rogge zasugerował głosowanie tajne, które później przeprowadzono.
