Segal a devenit popular în anii 1960 și 1970 pentru interpretarea atât a rolurilor dramatice, cât și a celor comice. Unele dintre cele mai apreciate roluri ale sale au fost în filme precum Ship of Fools (1965), King Rat (1965), Who's Afraid of Virginia Woolf? (1966), The St. Valentine's Day Massacre (1967), Where's Poppa? (1970), The Hot Rock (1972), Blume in Love (1973), A Touch of Class (1973), California Split (1974), For the Boys (1991) și Flirting with Disaster (1996). A fost nominalizat la Premiul Oscar pentru Cel Mai Bun Actor în Rol Secundar pentru interpretarea sa din Who's Afraid of Virginia Woolf? și a câștigat două premii Golden Globe, inclusiv Premiul Golden Globe pentru Cel Mai Bun Actor într-un Film Muzical sau de Comedie pentru performanța sa din A Touch of Class.
Pe micile ecrane, a fost cel mai bine cunoscut pentru rolurile sale ca Jack Gallo în Just Shoot Me! (1997–2003) și ca Albert "Pops" Solomon în The Goldbergs (2013–prezent).
Segal a fost de asemenea un chitarist de banjo talentat. A lansat trei albume și a interpretat instrumentul în mai multe dintre rolurile sale de actorie și la televiziunea de noapte târziu.