Jako amator został mistrzem olimpijskim w Tokio w 1964 roku, ale sławę przyniosły mu pojedynki na zawodowym ringu. Był pierwszym bokserem, który pokonał Muhammada Alego, zdobywając pas mistrzowski po 15 rundach jednogłośną decyzją sędziów. Stało się to 8 marca 1971 roku w nowojorskiej hali Madison Square Garden. Do dziś wielu komentatorów uważa tamtą walkę za "pojedynek stulecia".
Potem dwukrotnie przegrał z Alim, w 1974 i 1975 roku. Ta druga potyczka, stoczona na Filipinach, przeszła do annałów jako "Thrilla in Manila", a sam Ali uznał ją za najtrudniejszą w swojej karierze.
Frazier zakończył karierę w 1981 roku i zajął się... śpiewaniem w założonej przez siebie grupie "The Knockouts". Osierocił jedenaścioro dzieci.
