Faits: A. Par contrat de bail du 25 novembre 2000, A._ et B._ ont remis en location à X._ (ci-après: le locataire) un appartement de deux pièces au 1er étage de l'immeuble sis rue ..., à Renens. Conclu pour durer initialement du 1er décembre 2000 au 1er janvier 2002, le bail était par la suite renouvelable tacitement d'année en année, sauf résiliation donnée trois mois avant l'échéance. Le loyer mensuel a été fixé à 610 fr., charges non comprises. Le 14 novembre 2007, Z._ et Y._ (ci-après: les bailleurs) ont acquis par succession l'immeuble dans lequel se situe l'appartement en cause. Par formule officielle du 23 septembre 2008, le bail du locataire a été résilié pour le 31 décembre 2008. Les bailleurs ont motivé le congé en raison de "lourds travaux de rénovation". B. Saisie par le locataire, la Commission de conciliation en matière de baux à loyer du district de l'Ouest lausannois a, par décision du 11 mars 2009, confirmé la validité du congé et accordé au locataire une prolongation de bail de quatre ans (soit jusqu'au 31 décembre 2012). Le locataire a saisi le Tribunal des baux du canton de Vaud qui a, par jugement du 29 juillet 2009, confirmé la validité de la résiliation et accordé au locataire une unique prolongation du contrat de bail de trois ans. Statuant le 5 mai 2010, la Chambre des recours du Tribunal cantonal vaudois a rejeté le recours formé par le locataire. C. Le locataire exerce un recours en matière civile contre l'arrêt cantonal. Invoquant une violation de l'art. 9 Cst. et des art. 8 CC et 271 CO, il conclut principalement à la réforme de l'arrêt de la Chambre des recours et à l'annulation du congé qui lui a été notifié. Subsidiairement, invoquant une transgression des art. 4 CC, 272 et 272b CO, il conclut à la réforme de l'arrêt entrepris en ce sens qu'une prolongation du bail de quatre ans lui soit accordée. Plus subsidiairement, tirant moyen de la violation de diverses règles de procédure cantonale, il conclut à l'admission du recours et au renvoi de la cause à l'autorité cantonale. Les intimés concluent, sous suite de frais et dépens, au rejet du recours. 