Ives a început ca un cântăreț și banjoist itinerant și a lansat propriul său show de radio, The Wayfaring Stranger, care a popularizat cântecele folclorice tradiționale. În 1942, a apărut în This Is the Army, scris de Irving Berlin, și apoi a devenit o mare vedetă a radio-ului CBS. În anii '60, a reușit să facă trecerea în muzica country, înregistrând hituri precum "A Little Bitty Tear" și "Funny Way of Laughin'". Un actor de film popular în anii '40 și '50, cele mai cunoscute roluri ale lui Ives includ părți în So Dear to My Heart (1949) și Cat on a Hot Tin Roof (1958), precum și Rufus Hannassey în The Big Country (1958), pentru care a câștigat un Premiu Oscar pentru Cel Mai Bun Actor în Rol Secundar.
Ives este adesea amintit pentru munca sa de voice-over ca Sam Omul de Zăpadă, naratorul specialului de Crăciun clasic din 1964, Rudolph the Red-Nosed Reindeer, care continuă să fie difuzat anual în jurul Crăciunului.