Ivory blev født i Berkeley, Californien. Siden 1961 har han samarbejdet med Ismail Merchant (indtil hans død i 2005) og Ruth Prawer Jabhvala i filmkompaniet Merchant-Ivory Productions. Deres film har vundet flere Oscars.