Gittoes sinh năm 1949 tại Brighton-le-Sands, New South Wales và lớn lên ở Rockdale, New South Wales, hai vùng ngoại ô phía nam của Sydney, Úc. Gia đình ông, mặc dù không giàu có, là tầng lớp trung lưu thoải mái. Ông nội của Gittoes, sống trong khu vực, là một huấn luyện viên ngựa đua bán chuyên nghiệp, và có ảnh hưởng đáng kể trong thời thơ ấu của Gittoes. Cha của Gittoes, Claude, là một công chức, trở thành Bộ trưởng Bộ Đường chính. Mẹ ông, Joyce, là một nghệ sĩ và thợ gốm.