Faits: A. Y._ et B.X._ se sont rencontrés en 1997; ils ont alors vécu ensemble jusqu'en 2004. En 1999, Y._ a décidé de construire une maison, dont le coût total était estimé à 570'000 francs. Elle disposait alors de 280'000 fr. de fonds propres. Le 5 mars 1999, la Banque V._ a accordé à Y._ et B.X._ un crédit de construction de 360'000 fr.; Y._ et B.X._ se sont engagés comme débiteurs solidaires. Ce même 5 mars 1999, Y._ a ouvert un compte épargne auprès de la Banque V._. Le 12 avril 1999, C.X._, frère de B.X._, a établi en faveur de Y._ un ordre permanent portant sur un montant de 500 fr. à verser mensuellement sur ce compte. A.X._, un autre frère de B.X._, a fait de même le 20 avril 1999. Pour sa part, B.X._ a procédé au premier versement en date du 30 juin 1999, d'un montant de 500 fr.; il a ensuite versé régulièrement des montants allant de 500 fr. à 2'000 francs. Entre le 19 avril 1999 et le 29 novembre 2004, Y._ a opéré plusieurs versements en faveur de B.X._ et ce dernier a effectué plusieurs retraits sur le compte, disposant d'une procuration depuis le 27 juillet 1999. Selon Y._, la somme totale reçue par B.X._ est de 156'915 francs. Entre le 30 avril 1999 et le 30 janvier 2001, C.X._ a versé 10'000 fr. sur le compte; entre le 5 mai 1999 et le 9 mai 2005, A.X._ a versé 31'500 fr., tandis que B.X._, entre le 30 juin 1999 et le 30 octobre 2006, a versé 51'000 francs. C.X._ a quitté la Suisse pour s'installer au Kosovo en 2001. Dans le courant de l'année 2004, Y._ et B.X._ se sont séparés. B. Par mémoire du 14 octobre 2009 adressé au Tribunal civil de l'arrondissement de la Glâne, Y._ a ouvert action contre B.X._ et A.X._, concluant à ce qu'ils soient condamnés solidairement à lui payer la somme de 94'004 fr. 40 avec intérêts. Les défendeurs ont conclu au rejet de la demande. Par jugement du 14 octobre 2010, dont le dispositif a été communiqué aux parties le 4 novembre 2010, le Tribunal civil de l'arrondissement de la Glâne a rejeté la demande en tant qu'elle est dirigée contre A.X._, mais l'a admise en tant qu'elle est dirigée contre B.X._ et a condamné ce dernier à verser à la demanderesse la somme de 94'004 francs 40. Saisie d'un recours formé par la demanderesse, la Ie Cour d'appel civil du Tribunal cantonal fribourgeois, par arrêt du 22 septembre 2011, a réformé le jugement entrepris et condamné B.X._ et A.X._ solidairement à verser à Y._ la somme de 94'004 fr. 40 avec intérêts à 5 % l'an dès le 16 décembre 2008, prononcé la mainlevée définitive à due concurrence et statué sur les frais et dépens. C. A.X._ exerce un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal du 22 septembre 2011. Invoquant l'absence de société simple entre les trois frères, une violation du principe de la confiance et l'appréciation arbitraire des preuves, il conclut, sous suite de frais et dépens, à la réforme de l'arrêt attaqué et au rejet de la demande en tant qu'elle est dirigée contre lui. L'intimée conclut au rejet du recours dans la mesure où il est recevable avec suite de frais et dépens. 