Faits: A. Par acte authentique du 13 septembre 2002, A._ a acheté pour le prix de 2'950'000 fr. un immeuble sis à Lausanne en dessous de la gare, d'une surface totale de 1'394 m2, dont l'estimation fiscale était de 3'400'000 fr. Il a financé cette acquisition par des emprunts à concurrence de 2'700'000 fr., dette qu'il a amortie de 145'000 fr. entre 2003 et 2007. Les charges financières lors de cette dernière année se sont élevées à 66'917 fr. 50. Quant aux charges d'exploitation, elles ont été en moyenne annuelle de 47'196 fr. 30 pour la période de 2002 à 2006; en 2007, elles se sont élevées à 47'708 fr. 95, le décompte faisant état de "travaux spéciaux" pour un montant de 26'841 fr. Par contrat de bail à loyer du 2 novembre 2007 prenant effet le 1er décembre 2007, A._ (ci-après: le bailleur) a remis en location à B._ et C._ (ci-après: les locataires) un appartement de 4 pièces d'une surface de 109,5 m2 au 3ème étage de l'immeuble susmentionné. Le loyer mensuel convenu était de 2'050 fr., plus 150 fr. d'acompte pour frais accessoires. Selon la formule officielle datée du 30 octobre 2007 accompagnant ce bail, le loyer mensuel net dû par le précédent locataire s'élevait à 1'689 fr. plus un acompte de 150 fr. La hausse de loyer d'environ 20 % était motivée de la manière suivante: "Adaptation du loyer aux loyers usuels de la localité ou du quartier (art. 269a litt. a du CO). En outre, l'appartement a fait l'objet de travaux pour Frs 30'000.00 environ." La formule officielle ne comportait aucun renvoi à un éventuel document annexe. B. B.a Le 11 décembre 2007, les locataires ont contesté le loyer initial devant la Commission de conciliation en matière de baux à loyer du district de Lausanne. Le 29 avril 2008, cette autorité a constaté l'échec de la conciliation. Les locataires ont saisi le Tribunal des baux par requête du 22 mai 2008, dans laquelle ils concluaient à ce que le loyer de 2'050 fr. soit déclaré abusif et réduit à un montant indéterminé, qu'ils ont ensuite fixé à 800 fr.; ils faisaient valoir que les deux motifs de fixation du loyer figurant sur la formule officielle ne pouvaient pas être invoqués simultanément et qu'il convenait de privilégier le calcul de rendement, compte tenu de la date d'acquisition de l'immeuble. Le bailleur a produit les pièces requises par le tribunal pour procéder à un tel calcul; il a aussi déposé les fiches de 11 appartements de comparaison. Dans son jugement du 20 mai 2009, le Tribunal des baux a constaté la nullité partielle du bail quant au montant du loyer initial; procédant au calcul de rendement de l'appartement loué, il a fixé le loyer mensuel initial net à 850 fr. sur la base d'un intérêt hypothécaire de 3,25 %, d'un indice suisse des prix à la consommation (IPC) de 107,3 points (octobre 2007, base mai 2000) et de charges arrêtées au 31 décembre 2006. Alors que le bailleur avait préconisé de fonder le calcul de rendement sur la valeur fiscale et non sur le prix d'achat effectif de l'immeuble, qu'il disait avoir acquis à un prix d'ami, le tribunal a écarté cet argument en constatant que les conditions objectives et subjectives d'une donation mixte n'étaient pas établies. Il a par ailleurs considéré, en se référant à la jurisprudence fédérale, que le critère des loyers usuels n'entrait pas en considération dès lors que les loyers comparatifs produits étaient tous supérieurs au loyer issu du calcul de rendement et que ce dernier critère était déterminant. B.b Portant ce jugement devant la Chambre des recours du Tribunal cantonal vaudois, le bailleur a conclu à sa réforme en ce sens que le loyer mensuel net est fixé à 2'050 fr. sur la base du taux d'intérêt et de l'IPC précités. Il a notamment reproché aux premiers juges de ne pas avoir tenu compte des autres critères de fixation du loyer, en particulier des loyers usuels, nonobstant le résultat "aberrant" auquel conduisait le calcul de rendement, qui se fondait sur un prix d'acquisition inférieur au prix du marché et ne tenait pas compte des frais d'acquisition de l'immeuble et des travaux de rénovation de l'appartement loué. Il a aussi fait grief au Tribunal des baux de ne pas avoir instruit d'office la question de l'importance de l'avantage consenti sur le prix d'acquisition. Le bailleur a notamment produit deux statistiques du Service du logement de la ville de Lausanne, pièces que la Chambre des recours a jugées recevables. Les locataires ont admis la prise en compte supplémentaire des frais d'acquisition de l'immeuble à concurrence de 123'310 fr., soit 130'092 fr. après indexation, et ont conclu à ce que le loyer soit fixé à 880 fr. Dans son arrêt du 3 novembre 2010, La Chambre des recours a en substance confirmé la nullité du contrat quant au montant du loyer, la prééminence du critère du rendement sur celui des loyers usuels et le bien-fondé du calcul de rendement en tant qu'il se fondait sur le prix d'achat effectif, en l'absence de preuve d'une donation mixte. Elle a exclu toute violation de la maxime inquisitoire atténuée (art. 274d al. 3 CO). Quant aux travaux de rénovation, elle a notamment relevé l'absence de preuve d'une plus-value et considéré qu'il s'agissait de travaux d'entretien représentant des charges à déduire du rendement; à cet égard, la cour cantonale observait que les charges pour 2007, dans la moyenne des années précédentes, englobaient 26'841 fr. de travaux spéciaux, dont elle pouvait admettre qu'ils visaient les frais de rénovation allégués, entrepris pour l'essentiel en 2007. La Chambre des recours a en revanche admis la prise en compte des frais d'acquisition dans la mesure reconnue par les locataires. En définitive, elle a partiellement admis le recours et fixé le loyer mensuel initial à 880 fr. net sur la base des mêmes paramètres que le Tribunal des baux. C. Le bailleur (ci-après: le recourant) interjette un recours en matière civile auprès du Tribunal fédéral. Il conclut principalement à ce que le loyer mensuel initial soit fixé à 2'050 fr. net. En substance, il critique l'arrêt cantonal en tant qu'il constate un vice de forme dans la notification du loyer et qu'il accorde la prééminence au critère du rendement excessif. En revanche, le recourant ne formule plus de grief quant aux frais d'acquisition de l'immeuble et aux travaux de rénovation de l'appartement loué. Les locataires (ci-après: les intimés) concluent au rejet du recours. L'autorité précédente se réfère à son arrêt. La Cour de céans a délibéré sur le recours en séance publique. 