După roluri timpurii în El Dorado (1966) de Howard Hawks, Countdown (1967) de Robert Altman și The Rain People (1969) de Francis Ford Coppola, a devenit cunoscut pentru interpretarea rolului său emblematic, Sonny Corleone, în The Godfather (1972), pentru care a fost nominalizat la Premiul Academiei pentru Cel Mai Bun Actor în Rol Secundar și la Globul de Aur pentru Cel Mai Bun Actor în Rol Secundar. A reluat rolul lui Sonny Corleone în The Godfather Part II (1974), având o apariție cameo la final.
Caan a avut roluri semnificative în filme precum Brian's Song (1971), Cinderella Liberty (1973), The Gambler (1974), Rollerball (1975), A Bridge Too Far (1977) și Comes a Horseman (1978) de Alan J. Pakula. A lucrat sporadic în film din anii 1980, cu interpretări notabile în roluri din Thief (1981), Gardens of Stone (1987), Misery (1990), Dick Tracy (1990), Bottle Rocket (1996), The Yards (2000), Dogville (2003) și Elf (2003).