A studiat timp de zece ani la Conservatorul din Moscova, pregătindu-se pentru o carieră de pianist. În 1960, însă, l-a întâlnit pe Andrei Tarkovsky și a co-scris filmul său Andrei Rublev (1966). Primul său lungmetraj, Învățătorul (1964), a fost primit favorabil în Uniunea Sovietică și a fost proiectat de numeroase festivaluri de film în străinătate. Al doilea său film, Povestea Asyei Klyachina (1967), a fost suprimat de autoritățile sovietice. Când a fost lansat douăzeci de ani mai târziu, a fost aclamat ca fiind capodopera sa. Ulterior, Konchalovsky a realizat adaptări ale lucrărilor lui Ivan Turgenev, Cuibul oamenilor blânzi (1969) și Unchiul Vania de Cehov (1970), cu Innokenty Smoktunovsky în rolul principal. Epică sa Siberiade, la lansarea din 1979, a fost primită favorabil la Cannes și a făcut posibilă mutarea sa în Statele Unite în 1980.
Cele mai populare filme ale sale din Hollywood sunt Iubiții Mariei (1984), Trenul fugar (1985), bazat pe un scenariu al regizorului japonez Akira Kurosawa, și Tango & Cash (1989), cu Sylvester Stallone și Kurt Russell în rolurile principale. În anii 1990, Konchalovsky s-a întors în Rusia, deși a produs ocazional filme istorice pentru televiziunea americană,