Faits: A. X._ et Y._ ont fondé ensemble la société A._ SA, au capital-actions de 100'000 fr., dont le but social était le travail temporaire et fixe, ainsi que le placement de personnel. Selon relevé de compte de la Banque B._, Y._ a versé 100'000 fr. le 7 juillet 2003 sur un compte au nom de A._ SA. La société, dont le siège a été fixé à Sion, a été inscrite au registre du commerce le 5 août 2003. X._ était administrateur président avec signature individuelle et Y._ administrateur avec signature collective à deux. A la suite de fortes dissensions entre les précités, Y._ a démissionné du conseil d'administration le 19 octobre 2004, tout en continuant de travailler pour la société. Le procès-verbal établi à cette date indiquait que ses actions correspondant à 20% du capital étaient reprises par X._. Le même jour, X._ a signé, sous la raison sociale de A._ SA, une reconnaissance de dette au sujet des 100'000 fr. apportés par Y._. Comme 20'000 fr. avaient déjà été remboursés le 7 février 2004, le solde de 80'000 fr. devait être versé au plus tard le 30 décembre 2004. Il ressort d'une lettre du 18 décembre 2006 adressée par l'avocat de X._ au conseil de Y._ que ce solde n'a pas été versé, que les parties étaient également en litige au sujet du salaire du mois de novembre qui n'a pas été payé et que Y._ ne souhaitait plus travailler pour A._ SA. Agissant au nom de X._, l'avocat proposait de conclure, pour solde de tout compte, la transaction suivante: "1. X._ se reconnaît débiteur d'une somme de CHF 72'250.- envers Y._. Cette reconnaissance de dette annule et remplace celle de CHF 80'000.- qui avait été signée entre eux. 2. Ce montant sera payé de la manière suivante: CHF 20'000.- à fin janvier 2007, puis 9 acomptes de CHF 5'000.- chacun (de février à octobre 2007), puis un dernier versement de CHF 7'250.-. 3. Y._ donne sa démission à A._ SA et quitte immédiatement son poste de travail. A._ SA le dispense de son obligation de travailler pendant son délai de congé". Cette offre transactionnelle a été acceptée, au nom de Y._, par son avocat et renvoyée sous forme d'une télécopie contresignée pour accord. Le siège de la société A._ SA a été transféré à Lausanne en mai 2007 et la société a été déclarée en faillite le 5 juillet 2007. Le 21 avril 2008, la procédure de faillite a été clôturée et la raison sociale a été radiée du registre du commerce le 24 avril 2008. B. Le 12 février 2008, l'Office des poursuites de Lausanne-Est, à la requête de Y._, a notifié à X._ un commandement de payer la somme de 72'250 fr. avec intérêts et frais; la poursuite était fondée sur la transaction valant reconnaissance de dette du 18 décembre 2006. Le 25 juin 2009, la Cour des poursuites et faillites du Tribunal cantonal vaudois a prononcé la mainlevée provisoire de l'opposition faite au commandement de payer. Par demande du 15 juillet 2009, X._ a introduit une action en libération de dette, concluant qu'il ne devait pas la somme en poursuite. Y._ a conclu au rejet de la demande. Par jugement du 2 novembre 2010 dont le dispositif a été notifié aux parties le 4 novembre 2010, le Tribunal civil de l'arrondissement de Lausanne a rejeté la demande en libération de dette déposée par X._. Par arrêt du 2 août 2011, la Chambre des recours du Tribunal cantonal vaudois a rejeté le recours formé contre cette décision et a confirmé le jugement attaqué. C. X._ exerce un recours en matière civile au Tribunal fédéral. Invoquant l'arbitraire (art. 9 Cst.) et une violation de l'art. 18 CO, il conclut principalement à la réforme de l'arrêt attaqué en reprenant ses conclusions en libération de dette et requiert subsidiairement le renvoi de la cause à la cour cantonale pour nouveau jugement. Y._ propose le rejet du recours. Le recourant a répliqué et l'intimé a renoncé à dupliquer. 