Murray s-a născut în Evanston, Illinois, din Lucille (1921–1988), o funcționară la poștă, și Edward Joseph Murray II (1921–1967), un vânzător de lemn. A crescut în Wilmette, Illinois, un suburbiu nordic al Chicago-ului. Murray și cei opt frați ai săi au crescut într-o familie catolică irlandeză. Bunicul său patern era din comitatul Cork, în timp ce strămoșii săi matern erau din comitatul Galway. Trei dintre frații săi, John Murray, Joel Murray și Brian Doyle-Murray, sunt de asemenea actori.
Murray a frecventat Universitatea Regis din Denver, Colorado, unde a studiat pre-med timp de un an. A renunțat după ce a fost arestat pentru posesie de marijuana. În 1973, s-a mutat la New York pentru a-și urma o carieră în comedie. S-a alăturat emisiunii National Lampoon Radio Hour și a apărut ulterior în spectacolul de scenă National Lampoon Lemmings.
În 1977, Murray s-a alăturat distribuției emisiunii Saturday Night Live. A devenit rapid unul dintre cei mai populari membri ai distribuției, cunoscut pentru livrarea sa impasibilă și abilitatea de a improviza. A părăsit emisiunea în 1980 pentru a-și urma o carieră în film.
Primul său rol major în film a fost în comedia din 1979 Meatballs. A continuat să joace în numeroase comedii de succes, inclusiv Caddyshack (1980), Stripes (1981), Ghostbusters (1984) și Groundhog Day (1993). De asemenea, a jucat în mai multe drame apreciate de critici, cum ar fi Lost in Translation (2003) și Broken Flowers (