U svojoj bogatoj karijeri imao je i problema sa alkoholom, pa je nedugo poslije OI u Sydneyu završio u zatvoru zbog remećenja javnog reda. Izostavljen je i iz norveške reprezentacije za SP u Edmontonu 2001. jer se pojavio pijan pred novinarima, a kažnjavan je i zbog uzimanja kokaina i amfetamina.
Fagernes se okušao i u profesionalnom boksu, pa je u travnju u Španjolskoj suparnika oborio na pod već u 25. sekundi dvoboja.