Faits: A. Le 13 juillet 1994, a été constituée la Coopérative Y._ (Y._), au sens des art. 828 ss CO, avec siège à A._. Parmi les sept fondateurs de la Coopérative Y._, les deux sociétaires ayant fait l'apport, en société simple, le plus important sont Z._ et X._, sous forme de diverses parcelles. Déduction faite des dettes hypothécaires, l'apport net se montait à 3'291'007 fr. 60. En contrepartie, Z._ s'est vu remettre 134 parts sociales de 500 fr. et X._ 56 parts du même montant. Pour le solde, Z._ est devenu créancier de la société pour 2'233'705 fr. 40 et X._ pour 957'302 fr. 20. Les cinq autres fondateurs ont reçu chacun deux parts sociales de 500 fr. Dès la fondation de la Coopérative Y._ et jusqu'en 1998, X._ a été membre de l'administration, en qualité de secrétaire. La Coopérative Y._ poursuit un but social et d'utilité publique, soit la construction de logements à des prix favorables. Elle est appelée à mettre à l'enquête des projets de construction, à entretenir des contacts avec les autorités et à conclure des contrats d'entreprise générale et d'architecte portant sur des travaux importants. Afin de financer ses projets de construction, elle est amenée à conclure des contrats de prêt, principalement hypothécaires, avec des établissements bancaires et à obtenir des cautionnements ou subventions des autorités publiques. A cet égard, les témoins entendus en cours d'instruction, notamment le chef du service des finances de la commune de A._, ont insisté sur le fait que la société coopérative devait avoir une "réputation exemplaire" et les membres de la Coopérative Y._ une "bonne réputation", voire même une "moralité irréprochable". Par jugement du 6 décembre 2006, le Tribunal correctionnel de l'arrondissement de D._ a condamné X._ pour abus de confiance, banqueroute frauduleuse, gestion déloyale qualifiée et faux dans les titres à la peine de dix-huit mois d'emprisonnement avec sursis pendant quatre ans. La cour cantonale a constaté que la situation patrimoniale de X._ est gravement obérée, celui-ci faisant l'objet de saisies et d'actes de défauts de biens pour plusieurs millions de francs. Ses parts sociales de la Coopérative Y._ ont également été saisies par l'Office des poursuites et faillites de l'arrondissement de B._. Lors de l'assemblée générale extraordinaire des sociétaires qui s'est tenue le 12 février 2007, l'exclusion de X._ de la Coopérative Y._ a, en application de l'art. 11 des statuts de la société, été prononcée par l'assemblée générale, par 9 voix contre 5. Le procès-verbal de l'assemblée relève que l'exclusion est fondée sur trois justes motifs, indépendants les uns des autres et justifiant individuellement l'exclusion du sociétaire: premièrement, X._ a été condamné pénalement pour des infractions d'ordre patrimonial graves qui sont incompatibles avec l'activité de la Coopérative Y._, celle-ci impliquant que ses sociétaires aient une moralité irréprochable dans le monde des affaires; deuxièmement, la médiatisation de la condamnation de X._ nuit à la réputation et à l'activité de la Coopérative Y._; troisièmement, l'insolvabilité de l'associé, connue du grand public et de ses créanciers, porte également atteinte à la réputation de la Coopérative Y._. Suite à la procédure engagée par X._, la décision de l'assemblée générale extraordinaire du 12 février 2007 a été annulée par un prononcé du 2 août 2007 du Président du Tribunal d'arrondissement de C._, au motif que l'assemblée n'avait pas été valablement convoquée. Dans l'intervalle, l'administration avait convoqué une nouvelle assemblée générale extraordinaire, pour le 4 juin 2007, remettant à l'ordre du jour la proposition d'exclusion de X._, afin que la décision prise le 12 février 2007 soit confirmée. Lors de l'assemblée du 4 juin 2007, les sociétaires présents ont prononcé l'exclusion par 7 voix contre 0. B. Par une demande du 15 août 2007, X._ a de nouveau conclu à ce que son exclusion soit déclarée nulle ou qu'elle soit annulée. Par jugement rendu le 1er avril 2009, le Président du Tribunal d'arrondissement de C._ a rejeté la demande. Sur recours de X._, la Chambre des recours du Tribunal cantonal vaudois a, par arrêt du 3 février 2010, confirmé le jugement de première instance. C. X._ exerce un recours en matière civile contre l'arrêt cantonal du 3 février 2010. Il conclut, sous suite de frais et dépens, à son annulation, respectivement à sa réforme en ce sens que la décision du 14 juin 2010 (recte: 4 juin 2007) de l'assemblée générale de la Coopérative Y._ l'excluant soit annulée, respectivement déclarée nulle et qu'il soit constaté qu'il n'est pas exclu de la société coopérative en qualité de sociétaire. Le recourant reproche à la cour cantonale d'avoir violé l'art. 846 al. 2 CO, ainsi que l'art. 8 CC. L'intimée conclut, avec suite de frais et dépens, au rejet du recours. 