Faits: A. Y._, association dont le but est de contribuer à la lutte contre ..., a engagé en qualité de directeur, avec effet dès le 1er novembre 2005, X._, assistant social de formation, ayant acquis une expérience dans le domaine de la direction. Le contrat est demeuré oral et aucun cahier des charges n'a été établi, bien que X._ ait présenté des projets. Dans un premier temps, les prestations du directeur ont donné satisfaction. Toutefois, dans le courant de l'année 2006, le personnel a commencé à se plaindre de ses trous de mémoire, de sa lenteur et de son indécision systématique. Des troubles de l'attention et de la concentration ont été relevés. Le 8 décembre 2006, lors d'un repas avec le président de l'association, ce dernier lui a refusé une augmentation de salaire en faisant valoir certains reproches quant à la qualité de son travail, notamment ses lacunes en allemand et sa mauvaise gestion du temps. Le 25 avril 2009 (recte: 2007), l'association a adressé à X._ une lettre d'avertissement, lui reprochant en particulier son absence d'initiative et de prise de responsabilités, son manque de concentration et son exécution brouillonne des tâches confiées. Au terme de ce courrier, l'employeur impartissait à X._ un délai d'un mois pour " modifier de façon évidente " sa manière de fonctionner. Le 26 avril 2007, X._ a été convoqué devant une délégation du comité, qui lui a adressé une série de reproches quant à la qualité de son travail. X._ n'a pas repris le travail après cet entretien, présentant des certificats médicaux attestant de son incapacité de travail. Il a mandaté un avocat qui a informé l'employeur, par lettre du 1er juin 2007, qu'il avait l'intention de poursuivre son activité, mais à certaines conditions seulement. Y._ a mandaté à son tour un avocat, qui a fait savoir, en substance, que le cas était à l'étude. Par lettre du 2 août 2007, l'employeur a résilié le contrat de travail " pour la première date utile, soit le 31 octobre 2007 ", signalant en particulier que le délai légal de protection de 90 jours découlant de l'incapacité de travail était échu. En définitive, X._ a été rémunéré jusqu'au 30 novembre 2007. B. Par demande du 27 mai 2008, X._ a ouvert action devant les tribunaux vaudois contre Y._. Il a conclu principalement à l'octroi d'une indemnité de 90'000 fr. avec intérêts pour son licenciement - auquel il s'était opposé en temps utile - qu'il estime abusif. Il a demandé également 4'772 fr. 35 (en capital) à titre de majoration due pour les heures supplémentaires qui lui ont été payées. Par jugement du 3 mai 2009, le Tribunal civil de l'arrondissement de Lausanne a admis la demande pour les 4'772 fr. 35 - qui ne sont plus litigieux devant le Tribunal fédéral -, mais il l'a rejetée pour le surplus, considérant que la résiliation se fondait, sans abus, sur le manque de compétences du travailleur et sur son absence prolongée qui mettait en péril le fonctionnement de l'association. Saisie d'un recours de X._, la Chambre des recours du Tribunal cantonal vaudois, par arrêt du 24 mars 2010, a confirmé le jugement attaqué avec suite de frais et dépens. La cour cantonale a écarté la version de X._ selon laquelle le congé lui aurait été donné parce qu'il avait réclamé un contrat écrit et un cahier des charges; elle a retenu que la résiliation était motivée par ses manquements auxquels s'ajoutait son incapacité de travail prolongée. Elle a observé que l'employeur n'avait pas procédé de manière abrupte, mais donné des avertissements. Quant au délai de réflexion qu'il s'était accordé avant de prononcer le licenciement, il ne rendait pas celui-ci abusif. C. Ayant reçu cet arrêt le 28 avril 2010, X._ a déposé dans un bureau de poste suisse, le 28 mai 2010, un recours en matière civile au Tribunal fédéral. Invoquant une violation des art. 336 et 328 CO, il conclut, avec suite de frais et dépens, à la réforme de l'arrêt attaqué en reprenant les conclusions en paiement qu'il avait formulées devant l'autorité précédente. Subsidiairement, il demande le renvoi de la cause à l'autorité cantonale. L'intimée a conclu au rejet du recours avec suite de frais et dépens. 