Faits: A. Dans le courant de l'année 2003, X._ (ci-après: l'entrepreneur général), qui exploite un bureau d'architecture et une entreprise de construction, s'est occupé de la construction et de la vente de deux immeubles (constitués chacun de trois lots de propriété par étages [PPE]) situés au chemin ... à V._. H.Y._ et F.Y._ (ci-après: les maîtres de l'ouvrage) ont décidé d'acquérir un appartement en PPE. Un contrat d'entreprise générale, établi par l'entrepreneur le 22 octobre 2003, a été signé par les maîtres de l'ouvrage le 27 janvier 2004. Ceux-ci ont confié au premier "l'exécution du lot PPE B1", conformément à un descriptif général annexé au contrat (art. 1), ainsi que la construction d'un "garage box" et d'une place de parc devant le garage. L'art. 2 du contrat prévoit que les prestations de l'entrepreneur général sont spécifiées dans le descriptif de la construction et que, "mise (sic) à part les points mentionnés dans les articles 7.1 et 7.2, tout est compris". Le prix total et forfaitaire de l'ouvrage avec terrain a été fixé à 695'000 fr. et réparti comme suit: "Prix total de l'appartement PPE commun et piscine compris TTC fr. 510'000.-; Prix total du terrain payé directement au propriétaire TTC fr. 140'000.-; Un garage Lot 6GB + 1 place devant box (No 2) TTC fr. 45'000.-". "Toutes les taxes de raccordement eau, égout, gaz, électricité et téléphone sont comprises dans le contrat" (art. 7.1). Cette disposition mentionne en outre divers postes non compris dans le prix forfaitaire, comme les finitions dans la véranda du sous-sol (partie commune). Selon l'art. 7.2 du contrat, onze postes ne sont pas compris dans le prix de l'ouvrage. En vertu de l'art. 7.2 let. j, c'est le cas de "l'éventuelle différence de surtaxe due à des plus-values demandées par le maître de l'ouvrage, selon l'art. 4.3". Cette dernière clause précise que "le maître de l'ouvrage prendra en charge la différence sur les taxes de raccordement demandées par la Commune, en cas de plus-value sur la construction estimée par l'assurance incendie par rapport au montant de base du présent contrat". Le 27 janvier 2004, les parties ont signé un contrat de vente devant notaire. Selon son art. 8, H.Y._ est administrateur de la PPE. Il ressort des constatations cantonales que les maîtres de l'ouvrage "ont sollicité divers travaux en plus-value". L'entrepreneur général a établi diverses factures pour des travaux complémentaires ayant donné lieu à des plus-values, notamment des factures datées du 24 octobre 2005 pour un total de 71'150 fr. 15 (y compris un décompte/facture "pour les travaux exécutés en plus-value d'un montant total de fr. 42'942.-"). Les maîtres de l'ouvrage ne se sont acquittés que du montant contractuel de 695'000 fr. Pour les factures complémentaires, un commandement de payer leur a été notifié, sur réquisition de l'entrepreneur général, pour un montant total de 89'732 fr. 65. H.Y._ y a formé opposition totale. Les maîtres de l'ouvrage se sont plaints de divers défauts, le terme de livraison de l'ouvrage n'a pas été respecté et divers problèmes sont survenus sur le chantier. Sur requête des maîtres de l'ouvrage, le Juge de paix du district de Lausanne, le 21 novembre 2005, a rendu une ordonnance et le constat d'urgence en découlant a fait état de divers défauts affectant l'ouvrage. Le 22 décembre 2005, l'entrepreneur général a saisi le Juge de paix du district de Lausanne d'une requête d'expertise hors procès. Celle-ci était destinée à examiner les factures qu'il a établies, à indiquer si elles correspondaient aux prestations fournies et à chiffrer les éventuelles moins-values constatées. Après un premier rejet de la requête d'expertise par le magistrat précité, elle a finalement été acceptée le 6 septembre 2006 par la Chambre des recours du Tribunal cantonal vaudois. L'expert a alors déposé son rapport le 20 mars 2008 et remis un rapport complémentaire le 18 novembre 2009. B. Dans l'intervalle, soit par demande du 28 juin 2006, l'entrepreneur général a ouvert action devant le Tribunal civil d'arrondissement de Lausanne concluant à ce que les maîtres de l'ouvrage soient condamnés à lui payer solidairement la somme de 88'838 fr. et à ce que l'opposition totale soit définitivement levée. Les défendeurs ont conclu au rejet de la demande et, reconventionnellement, en particulier à ce que le demandeur soit condamné à leur verser la somme de 37'989 fr. 25 (conclusion ultérieurement augmentée à 55'989 fr. 25). En cours d'instance, le président du tribunal saisi a désigné comme expert celui qui était déjà rompu à la cause des parties devant la justice de paix. Le rapport d'expertise a été déposé le 2 février 2009 et un complément d'expertise le 10 mars 2010. Par jugement du 22 juillet 2010, le Tribunal civil de l'arrondissement de Lausanne a condamné les défendeurs à payer au demandeur, solidairement entre eux, la somme de 46'771 fr. 25, intérêts en sus (ch. I du dispositif), levé définitivement l'opposition formée par H.Y._ (ch. II du dispositif), arrêtés les frais de justice à 13'511 fr. pour le demandeur et à 16'727 fr. pour les défendeurs (ch. III), condamnés les défendeurs à payer au demandeur, solidairement entre eux, la somme de 19'007 fr. 35 à titre de dépens (ch. IV) et rejeté toutes autres conclusions (ch. V). Sur recours des deux parties, la Chambre des recours du Tribunal cantonal vaudois, par arrêt du 8 juin 2011, a rejeté le recours de l'entrepreneur général et admis partiellement celui des maîtres de l'ouvrage, sous suite de frais et dépens. Réformant les chiffres I et IV du jugement attaqué, elle a condamné les défendeurs à payer au demandeur la somme de 18'875 fr. 80, intérêts en sus (ch. I) et le montant de 14'255 fr. 50 à titre de dépens (ch. IV), en confirmant le jugement pour le surplus. La cour cantonale a considéré que plusieurs postes retenus par l'expert et le juge de première instance (résultant des diverses factures établies par l'entrepreneur général) n'avaient en réalité pas été prouvés par le demandeur et que l'autorité inférieure n'avait pas tenu compte de plusieurs défauts affectant l'ouvrage qui nécessitaient de réduire le prix facturé. C. L'entrepreneur général exerce un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal du 8 juin 2011. Avec suite de frais et dépens, il conclut principalement à la réforme du chiffre du dispositif de la décision de la Chambre des recours condamnant au paiement les défendeurs en ce sens que les maîtres de l'ouvrage doivent lui payer, solidairement entre eux, la somme de 56'510 fr. 45, intérêts en sus, et à la réforme des chiffres du dispositif relatifs aux dépens cantonaux. Subsidiairement, il conclut à l'annulation de l'entier du dispositif de l'arrêt de la Chambre des recours et au renvoi de la cause à l'autorité compétente. Les intimés concluent au rejet intégral du recours, avec suite de frais et dépens. Le recourant a encore communiqué des "observations" et les intimés des "déterminations complémentaires". 