Faits: A. Par contrat de bail du 22 juillet 2007, X._ a cédé à Y._ et Z._ l'usage d'une villa avec cave et jardin, moyennant un loyer mensuel de 1'600 fr., auquel s'ajoutait un montant de 100 fr., les frais d'eau chaude et de chauffage étant compris. Le loyer devait être payé par mois et d'avance. Conclu initialement pour la période du 1er septembre 2007 au 1er septembre 2008, le contrat se renouvelait ensuite tacitement d'année en année, sauf congé donné trois mois avant l'échéance. Le loyer initial n'a pas été notifié aux locataires sur formule officielle. Y._ et Z._ ont payé le loyer du mois d'octobre 2007 avec deux jours de retard, celui de janvier 2008 avec trois jours de retard, celui de février 2008 avec huit jours de retard, celui d'avril 2008 avec un jour de retard, celui de mai 2008 avec six jours de retard, celui d'octobre 2009 avec vingt-deux jours de retard, celui de novembre 2009 avec trente-trois jours de retard et celui de décembre 2009 avec vingt-deux jours de retard. Par formules officielles du 19 janvier 2010, X._ a résilié le contrat pour le 1er septembre 2010. Dans sa lettre d'accompagnement, il indiquait que sa décision était principalement motivée par le non-respect, à plusieurs reprises, des échéances pour le paiement du loyer. B. Le 15 février 2010, Y._ et Z._ ont saisi la Commission de conciliation en matière de baux à loyer du district de A._, sollicitant l'annulation de la résiliation et subsidiairement une prolongation du bail pour une durée de quatre ans. Par décision du 16 mars 2010, la Commission de conciliation a constaté la validité de la résiliation et a accordé une unique prolongation du bail au 28 février 2011. Saisi par les locataires, le Tribunal des baux du canton de Vaud, par jugement du 5 octobre 2010, a annulé la résiliation du bail. Après avoir constaté que les locataires n'avaient appris qu'au cours de la présente procédure le vice de forme résultant de l'absence de notification du loyer initial sur formule officielle, les juges de première instance ont considéré que le loyer n'avait pas été valablement fixé et que les locataires ne pouvaient pas être en demeure dans son paiement, de sorte que le motif invoqué à l'appui du congé ordinaire n'était pas réalisé. Statuant sur recours du bailleur par arrêt du 12 janvier 2011, la Chambre des recours du Tribunal cantonal vaudois a confirmé le jugement attaqué. C. X._ exerce un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal. Invoquant l'arbitraire dans l'établissement des faits et dans l'application de la loi, une violation des art. 257d CO, 270 CO et 2 CC, ainsi qu'une violation du droit d'être entendu et de l'art. 8 CC, il conclut à la réforme de l'arrêt attaqué en ce sens que la résiliation de bail est valable, subsidiairement au renvoi de la cause à l'autorité cantonale après annulation de l'arrêt déféré. Les intimés proposent le rejet du recours. Les parties ont répliqué et dupliqué, sans apporter d'élément nouveau. 