1909. február 11-én született a Pennsylvania állambeli Wilkes-Barre városkában, németországi lengyel emigráns szülők gyermekeként. A középiskola után a Columbia Egyetemre iratkozott be, közben újságírással is foglalkozott. Egy ideig a Chicago Tribune című lap berlini tudósítója volt és az UFA filmgyárban német némafilmek angol feliratozását végezte. Húszévesen ment Hollywoodba szerencsét próbálni, útját forgatókönyvíró testvére, Herman is egyengette, aki 1941-ben kapott Oscar-díjat az Orson Welles rendezte Aranypolgárért. Előbb mások némafilmjeihez írt párbeszédeket, majd saját forgatókönyvek írásába fogott, pályafutása során csaknem félszázat jegyzett. Oscar-díjra először 1931-ben a Skippy című film egyik forgatókönyvírójaként jelölték. Producerként is gyűjtött tapasztalatokat, többek között Fritz Lang első amerikai filmje, a Téboly, George Cukor Philadelphiai történet és Az év asszonya című vígjátékait gondozta, utóbbiban játszott először együtt a Spencer Tracy-Katharine Hepburn álompár.

Mankiewicz 1946-ban a gyengélkedő Ernst Lubitsch helyére ugrott be először rendezőként, filmes példaképétől A sárkányvár asszonya című filmdráma rendezését vette át. Három évvel később, 1949-ben pedig már a rendezői és a forgatókönyvírói Oscar-díjat vehette át az Egy levél három asszonynak című filmért. 1950-ben forgatta pályafutása legnagyobb sikerét: a Mindent Éváról című lélektani drámát addig példátlan módon 14 kategóriában jelölték Oscar-díjra, ezt a rekordot csak 1997-ben a Titanic és tavaly a Kaliforniai álom tudta beállítani. A film hat díjat nyert el, és ismét hazavihette a legjobb rendezésért és forgatókönyvért járó aranyszobrocskát. (Abban az évben a Nincs kiút című filmdráma egyik forgatókönyvírójaként is jelölték, de csak egyszer győzhetett...) Ezzel mind a mai napig ő az egyetlen, aki két egymást követő évben győzött ebben a két kategóriában, s azon három filmes egyike, akik kétszer egymás után kaptak rendezői Oscart, a másik kettő: John Ford (Érik a gyümölcs, 1941; Hová lettél, drága völgyünk? 1942) és a mexikói Alejandro González Inárritu (Birdman, avagy a mellőzés meglepő ereje, 2015; A visszatérő, 2016).

Szívesen nyúlt irodalmi alapú történelmi drámákhoz: 1953-ban parádés szereposztásban vitte filmre a Julius Caesart (Marlon Brando ebben nyújtotta egyetlen Shakespeare-alakítását), s övé a legismertebb, 1963-ban bemutatott Kleopátra-feldolgozás is. A producerek eredetileg Rouben Mamouliant szemelték ki rendezőnek, de ő 1960-ban a nehézségek miatt bedobta a törülközőt, s utóda Mankiewicz lett. A film elkészítése minden résztvevő számára folyamatos rémálom volt (sokak szerint a végeredmény is az lett), ráadásul a produkció négy órán át tette próbára a nézők figyelmét. A négy hónaposra tervezett forgatás – egyebek között a főszereplő Elizabeth Taylor betegsége miatt – három évig tartott, a díszleteket előbb Londonban, majd Rómában húzták fel. A költségvetés a szerényebb kezdetekről 48 millió akkori (mintegy 400 millió mai) dollárra hízott fel, így a Kleopátra ma is az egyik legdrágább filmalkotásnak számít. S hiába lett abban az évben a legtöbb bevételt termelő film, a készítésére fordított pénzt nem hozta be, amire sem azelőtt, sem azóta nincs példa.

 Szerény vigasz lehetett a producerek számára, hogy a forgatáson Taylor és Richard Burton egymásba szeretett, s mivel a viharos románc folyamatosan a lapok címoldalán szerepelt, a reklámköltségeken spórolhattak. A Kleopátra azzal is bekerült a filmtörténetbe, hogy Elizabeth Taylor lett az első színésznő, akinek gázsija áttörte az egymillió dolláros határt. A film négy Oscar-díjat kapott, s az évek során szerény nyereséget is termelt, összességében mégis bukásként könyvelték el. 1954-ben Ava Gardnerrel és Humphrey Bogarttal forgatta A mezítlábas grófnő című melodrámát, majd 1958-ban Graham Greene A csendes amerikai című regényét vitte filmvászonra. Az adaptáció nagy vihart kavart, mert megváltoztatta az író üzenetét: Greene ugyanis élesen támadta az amerikai jelenlétet Indokínában, a rendező azonban jó hazafiként Washington vietnami politikáját dicsőítő propagandafilmet készített, még a befejezést is átírva, amit Greene nemes egyszerűséggel „árulásnak” minősített. Egy évvel később készült Tennessee Williams műve alapján a Tavaly nyáron hirtelen, ezután rendezett westernkomédiát (Volt egyszer egy gazember) és musicalt (Pasasok és babák), s a Metropolitan Operában színre vitte Puccini Bohéméletét.

Oscar-díjra kilencszer jelölték, utoljára 1973-ban hattyúdala, a Michael Caine és Laurence Olivier főszereplésével készült A mesterdetektív című krimi rendezéséért. Mankiewicz élete utolsó évtizedét a filmipartól távol töltötte, de gyakori vendég volt tévés műsorokban és szívesen tartott előadásokat, ilyenkor hallgatóságát Hollywood fénykorából származó anekdotákkal szórakoztatta. 1933-ban egyik alapítója, 1950-51-ben elnöke volt az amerikai televíziós rendezők egyesületének (SDG).

Nyolcvannegyedik születésnapja előtt hat nappal, 1993. február 5-én halt meg szívroham következtében Bedfordban.