A Kalifornia állambeli Berkeleyben látta meg a napvilágot, de Oregonban nőtt fel, ahol apja fűrészüzemet vásárolt. Az oregoni egyetem után a dél-kaliforniai egyetem filmes iskolájába iratkozott be, diplomamunkája egy dokumentumfilm volt, amelyben különböző művészeteken keresztül Velence történetét mutatta be. Végzése után, 1959-ben The Sword and the Flute címmel készített rövid dokumentumfilmet az indiai mogul miniatúrákról. Alkotásának New York-i vetítésén ismerkedett meg Ismail Merchant indiai producerrel, akivel közösen alapítottak produkciós céget, az üzletember élete végéig mindenben társa maradt. Kapcsolatuk több mint négy évtizedig, a független film világában példátlan hosszúságú ideig tartott, és a Guinness Rekordok Könyvébe is bekerült.

A Merchant Ivory kezdetben Indiában gyártott angol nyelvű filmeket, amelyeket a nemzetközi piacokon értékesített, idővel aztán már a legnagyobb sztárokkal készítettek Oscar-díjas produkciókat. Ivory 1963-ban rendezte első játékfilmjét Ruth Prawer Jhabvala német származású amerikai írónő The Householder című, Indiában játszódó regénye alapján. Ezzel kezdődött együttműködésük a később egyedülállóan Booker- és Oscar-díjjal is jutalmazott írónővel, amely egészen 2005-ig, Merchant haláláig kitartott, a rendező 25 mozifilmjéből 20-nak Jhabvala írta a forgatókönyvét. Merchant egyszer ironikusan így nyilatkozott: „Különös a mi kapcsolatunk a Merchant Ivorynál. Én egy indiai muszlim vagyok, Ruth német zsidó, Jim protestáns amerikai. Valaki egyszer háromfejű istenként írt le minket, pedig lehet, hogy inkább háromfejű szörnyeteget kellett volna mondania.”

A hetvenes évek közepétől, már Amerikában, egyre nagyobb sztárokkal dolgoztak, Ivory 1979-ben Európaiak, majd 1984-ben A bostoniak címmel Henry James regényeit dolgozta fel. Ezekben a jellegzetes hangulatú alkotásokban eltolódik a hangsúly a történetről és a szereplőkről, a nézőt a megkomponált külső és belső terek, a tájak, épületek, szobrok, festmények bútorok, korhű kosztümök kerítik hatalmukba. Az áttörést az 1986-ban bemutatott Szoba kilátással hozta meg, az E. M. Forster írásaiból készült alkotást nyolc Oscar-díjra jelölték, ebből hármat el is nyert.

Ugyancsak Forster műve alapján készült egy évvel később a Maurice, ezt követte 1989-ben a New York rabszolgái, majd 1990-ben Paul Newman és Joanne Woodward főszereplésével a Mr. és Mrs. Bridge. 1992-ben ismét Forster-regény adaptációját készítette el, a Szellem a házban című remekművet kilenc Oscar-díjra jelölték, és ismét hármat nyert el, többek között Emma Thompson kapta a legjobb színésznőnek járó kitüntetést. A drámában két család különös, ellentmondásos kapcsolata tárult föl a múlt század tízes éveiből, megidézve a korszak atmoszféráját. A szereplők élettörténetén keresztül ismerhetjük meg a rendező több filmjében is visszatérő véleményét, mely szerint azok az emberek, akiknek meggyőződése alapjaiban különbözik, képtelenek igazán kommunikálni egymással. 

 
1993-ban rendezte talán legjobb filmjét, a Napok romjait a 2017-ben irodalmi Nobel-díjjal kitüntetett brit író, Kazuo Ishiguro regényéből. Az Anthony Hopkins és Emma Thompson főszereplésével készült alkotást nyolc Oscar-díjra jelölték, de ezúttal egyet sem nyert. A filmdráma mentes a nagy érzelmi viharoktól, ám mégis felkavarja a nézőt. A megrendítő történetben Stevens, a főkomornyik a kötelességet és a pozíciót a szív szükségletei fölé helyezi, ezzel élete tragikus fordulatot vesz. Ivory 1995-ben készítette a Jefferson Párizsban című filmet, 2005-ben Ishiguro forgatókönyve alapján A fehér grófnő című romantikus történelmi drámát, utolsó rendezése 2009-ben az Argentínában forgatott Az otthon túl messze van. Az Ivory Merchant alacsony költségvetésből tudott egészen magas minőségű filmeket készíteni, így a stúdiók nem szólhattak bele munkájukba, nem nyirbálhatták meg alkotói szabadságukat. Színészeik sem kértek égbekiáltóan magas gázsit, tudván, hogy az alkotások nagy valószínűséggel Oscar-esélyesek lesznek. Ivory hat színészt instruált Oscar-díjra jelölt alakításban, s olyan sztárokkal dolgozott együtt, mint Maggie Smith, Shashi Kapoor, Hugh Grant, James Wilby, Rupert Graves, Glenn Close, Uma Thurman, Vanessa Redgrave, Nick Nolte, Natasha Richardson, Ralph Fiennes és Helena Bonham Carter.

Ivoryt háromszor jelölték Oscarra rendezőként, a sors furcsa fintora, hogy végül forgatókönyvíróként nyert 2017-ben a Szólíts a neveden című filmért. Ezzel rekordot döntött, ugyanis ő a legidősebb, akit szakmai kategóriában díjaztak a a filmvilág legrangosabb kitüntetésével, a korábbi rekorder a 87 évesen kitüntetett olasz zeneszerző, Ennio Morricone volt. (A díjak történetének legidősebb kitüntetettje Eli Wallach, aki 95 évesen vehette át az életműdíjat.) Az André Aciman regénye nyomán készült Szólíts a neveden egy kis észak-olaszországi faluban játszódik, főszereplője a 17 éves amerikai Elio, aki szüleivel egy ódon villában tölti a nyarat. Ide érkezik meg apja tanítványa, a 24 éves Oliver, s a két fiatal között váratlanul elsöprő vonzalom bontakozik ki, amely mindent felborít a kamasz fiúban. A két férfi szerelmének felkavaró történetét Luca Guadagnino rendező vitte vászonra Timothée Chalamet és Armie Hammer főszereplésével. A folytatás előkészítése már folyik, de Ivory nem akar részt venni benne, mert – ezúttal rendezőként – Shakespeare II. Richárdjának megfilmesítésén dolgozik.