Viterelli je prije započinjanja glumačke karijere u svojim 50-im radio sve i svašta. U intervjuima je izjavljivao da je jednom vodio lanac glazbenih škola, koji je otvorila njegova obitelj u njujorškoj četvrti Queens. Kasnije je radio u barovima, vozio kamion, bio vlasnik čistionice i bušio rupe na kuglama za kuglanje.
Rodom iz New Yorka, Viterelli je odselio u Los Angeles kasnih 1970-ih godina. Sprijateljio se s redateljem Leom Pennom, koji je smatrao da bi Viterellijeve grube crte lica bile dobre za uloge na filmu i televiziji. Viterelli je odbio, ali ga je godinama kasnije redateljev sin Sean Penn nazvao zbog uloge u gangsterskom filmu "Odabrani" iz 1990.
"Joe, tražimo nekoga za lik iz tvojeg susjedstva", rekao je Penn. "Vidjeli smo 50 do 60 ljudi i nitko nam ne odgovara. Hoćeš li mi učiniti uslugu?", bile su ključne riječi poznatog glumca.
Viterelli je prihvatio ulogu i dokazao se kao pouzdan karakterni glumac. Pojavio se u desecima filmova, uključujući "Metke iznad Broadwayja", "Za njegove plave oči" i "Ljubav je slijepa".
Najpoznatiju je ulogu izgradio uz Roberta De Nira kao njegov opasno simpatični pratitelj Jelly u filmu "Analiziraj ovo" iz 1999. i njegovom nastavku iz 2002. "Analiziraj ono".
Viterelli za sobom ostavlja suprugu Catherine i njihovo petero djece.