Sui suoi esordi c'è poco da dire. Ha provato come attore e ci è riuscito, si è distinto come sceneggiatore e ci è riuscito. Ha tentato come regista e ha avuto successo. Una personalità poliedrica, dove l'unico mea culpa possibile che gli viene concesso è quello di poter fare tutto e tutto troppo bene!
Figlio di un orologiaio, dopo aver studiato alla School of Foreign Service, Georgetown University, serve l'esercito degli Stati Uniti d'America nel 1942 come operatore radio, venendo assegnato all'Unità Intrattenimento Speciale di Maurice Evans, grazie al quale viaggiò per tutto il Sud Pacifico come commediante. Spinto dalla voglia di essere un attore serio, partecipa con il musicista Glenn Miller ad alcune opere drammatiche, sempre per la compagnia di Maurice Evans, poi comincia a latitare nei musical di Broadway con Jack Haley e Jack Cassidy. Su quei palchi, conoscerà la sua futura moglie, Estelle Reiner, sposata la vigilia di Natale del 1943, dalla quale avrà tre figli: i registi Rob e Lucas Reiner e l'ortopedica Silvie Anne Reiner. A guerra finita, si imporrà come attore televisivo. Grandissimo, nel 1948, il successo del serial The Fashion Story, seguito poi da Caesar's Hour (1954) che lo vedrà anche nelle vesti di sceneggiatore e per il quale verrà pluripremiato agli Emmy, diventando in brevissimo tempo una stella di prima grandezza del panorama televisivo americano.
Il debutto sul grande schermo è nel film di David Miller Divieto d'amore (1959) con David Niven e Patty Duke, passerà poi a George Marshall in Gazebo (1959) con Glenn Ford, Martin Landau e Debbie Reynolds. Regista del notissimo telefilm The Dick Van Dyke Show (1961), diventa lo sceneggiatore d'oro di Norman Jewison, per il quale scriverà: Quel certo non so che (1963), L'arte di amare (1965) e Arrivano i Russi, arrivano i Russi (1966). Dopo un piccolo ruolo nel film di Gene Kelly Una guida per l'uomo sposato (1967), esordisce come regista cinematografico con il film Enter Laughing (1967) con Shelley Winters, dirigendo l'amico Dick Van Dyke ne Il comico (1969) e George Segal e Ruth Gordon in Senza un filo di classe (1970).
È dietro a Carl Reiner che risiede il segreto della fama del comico Steve Martin, sarà infatti questo regista a renderlo così importante nella storia della cinematografia americana, dirigendolo in commedie come: Lo straccione (1979), Il mistero del cadavere scomparso (1982), Ho perso la testa per un cervello (1983) e Ho sposato un fantasma (1984), tutti titoli che nel frattempo faranno di Reiner un piccolo autore della commedia brillante americana.
Dopo aver diretto John Candy in Vacanze in Florida (1985), trova la sua musa nell'attrice Kirstie Alley che dirige in Summer School - Una vacanza da ripetenti (1987) e Scappatella con il morto (1990). Infine, dopo gli screzi amorosi fra Bette Midler e Dennis Farina in Questo pazzo sentimento, si dedica alla carriera di attore con il personaggio del ricchissimo Saul Bloom in Ocean's Eleven e nei suoi seguiti, diretto da Steven Soderbergh.