Szefem UEFA był w latach 1990-2007. Walkę o piątą kadencję przegrał z Francuzem Michelem Platinim stosunkiem głosów 23:27. Natomiast w 1998 roku bezskutecznie ubiegał się o fotel prezydenta FIFA. W wyborach triumfował Szwajcar Sepp Blatter, z którym następnie popadł w konflikt.
Już w 1962 roku Johansson został szefem sekcji piłkarskiej klubu AIK Sztokholm, którego potem został prezesem. W 1979 objął stanowisko przewodniczącego szwedzkiej ligi, a pięć lat później wybrano go na prezesa Szwedzkiego Związku Piłki Nożnej. Z jego inicjatywy stworzono w 1992 roku Ligę Mistrzów.
