Faits: A. X._ et Z._, née Y._, ont vécu ensemble de juin 1991 à juillet 2002. Les parties ont entretenu des relations financières complexes, payant les factures les concernant réciproquement par leurs comptes respectifs. Entre 1997 et 2002, elles étaient titulaires d'un CCP commun, qui a notamment financé leurs dépenses courantes et leurs frais communs. X._ disposait en outre d'une procuration sur le compte de Z._ à la banque V._ Ltd (ci-après: la banque V._). En 1993, Z._ est devenue propriétaire d'un appartement à B._, dans lequel les parties ont effectué des travaux de rénovation. La valeur des travaux réalisés par X._ est estimée à 30'000 fr. En juin 1996, X._ a acquis de la tante de Z._, pour 74'000 fr., un immeuble comportant une grange, sis sur la commune de B._ Il a payé le prix au moyen de ses fonds propres à concurrence de 14'000 fr. et d'un emprunt bancaire de 60'000 fr. Ce prêt sera repris par la banque W._ de B._ et augmenté à 385'000 fr. pour financer la transformation de la grange en une habitation (le "Chalet A._"). En septembre 1999, X._ a obtenu de la commune de B._ une subvention de 19'125 fr. pour la réfection de l'immeuble et sa modification en logement. Z._ a participé à l'acquisition et à la transformation du Chalet A._ à hauteur de 192'729 fr.15; sur ce montant, 15'400 fr. correspondent à des amortissements et 43'849 fr.15 à des intérêts hypothécaires. A une date indéterminée, Z._ a financé à hauteur de 18'845 fr. l'acquisition d'une moto qui sera conservée par X._. En février 2005, X._ a vendu pour 980'000 fr. l'immeuble sur lequel le Chalet A._ est édifié. B. Par demande du 9 février 2005, Z._ a ouvert action contre X._. Ses dernières conclusions tendaient à ce qu'il soit ordonné la liquidation de la société simple conclue avec le défendeur et à ce que ce dernier lui paie un montant de 173'864 fr.15 plus intérêts à 4% dès le 1 er août 2002. X._ a conclu au rejet de la demande. Plusieurs expertises judiciaires ont été mises en oeuvre, en particulier pour établir la valeur du Chalet A._ et les mouvements financiers de ou vers les comptes des parties. Par jugement du 20 septembre 2011, le Juge du district de L'Entremont a rejeté la demande. Statuant le 28 août 2013 sur appel de Z._, la Cour civile I du Tribunal cantonal du canton du Valais a réformé le jugement de première instance en ce sens que X._ doit payer à Z._ la somme de 160'432 fr.05 avec intérêts à 5% dès le 27 janvier 2005. C. X._ interjette un recours en matière civile. Il demande au Tribunal fédéral d'annuler le jugement cantonal, puis de rejeter la demande du 9 février 2005. Par ordonnance du 24 octobre 2013, la Présidente de la cour de céans a accordé au recours l'effet suspensif requis par le recourant. Dans sa détermination, Z._ conclut au rejet du recours. Pour sa part, la cour cantonale se réfère aux considérants de sa décision. 