Faits: A. B.B._ et C.B._ sont depuis le 1er avril 2008 locataires d'un appartement de quatre pièces et d'une surface de 88 mètres carrés sis dans un immeuble à ........ (NE). Le loyer initial s'élevait à 1'200 fr., montant auquel s'ajoutait un acompte pour charges de 280 fr. Par voie successorale, A._ est ultérieurement devenu propriétaire de l'immeuble dont la surface habitable totale est de 1'020 mètres carrés. Par avis du 10 décembre 2009 donné sur formule officielle, le bailleur a notifié, pour le 1er avril 2010, une hausse de loyer de 144 fr. par mois ainsi qu'une diminution de 65 fr. par mois de l'acompte pour les charges. Sur la formule, l'augmentation de loyer est motivée par des travaux à plus-value et par l'adaptation du taux hypothécaire, de l'indice des prix à la consommation ainsi que de la hausse des coûts, et il est renvoyé à une lettre annexée où les travaux réalisés et le calcul de la hausse sont détaillés. Les locataires ont contesté cette augmentation auprès de l'autorité de conciliation; la tentative de conciliation n'a pas abouti. B. B.a Le 25 février 2010, le bailleur a ouvert action devant le Tribunal civil du district de Neuchâtel, concluant à une augmentation du loyer mensuel de 144 fr. Les locataires ont admis une augmentation mensuelle de 45 fr. Par jugement du 2 septembre 2010 envoyé aux parties le 30 septembre 2010, la présidente du Tribunal civil a admis qu'une hausse mensuelle de 80 fr. était justifiée; elle a en conséquence fixé le loyer mensuel net à 1'280 fr. dès le 1er avril 2010. B.b Le bailleur a interjeté recours auprès de la Cour de cassation civile du Tribunal cantonal, concluant à ce que le loyer soit augmenté de 144 fr. par mois. Les locataires, assistés d'une avocate de l'ASLOCA neuchâteloise non inscrite au registre neuchâtelois des avocats, ont pour leur part déposé un recours joint, concluant à ce que la hausse mensuelle soit fixée à 45 fr. Par arrêt du 17 juin 2011, la Cour a admis une augmentation de 77 fr. et fixé le loyer mensuel dû dès le 1er avril 2010 à 1'277 fr., sur les bases suivantes: Les travaux pouvant être répercutés sur les loyers s'élèvent à 561'427 fr.; le 60% de cette somme, soit 336'856 fr., est à prendre en considération comme créant une plus-value; il y a lieu d'en déduire diverses aides et subventions ascendant à 53'682 fr.; le montant investi déterminant pour le calcul de la hausse de loyer est ainsi de 283'174 fr.; il est à amortir sur trente-cinq ans, ce qui correspond à un montant annuel de 8'090 fr. 70. Le taux hypothécaire de référence (au 1er avril 2010) est de 3%; la rémunération annuelle du capital, calculée sur la base d'un taux de 3,5% sur la moitié du capital, équivaut à 4'955 fr. 55. Les frais d'entretien sont fixés au 10% des montants dus au titre d'amortissement et de rémunération, soit à 1'304 fr. 60 par an. Le bailleur peut ainsi répercuter 14'350 fr. 85 (8'090.70 + 4'955.55 + 1'304.60) sur les loyers de l'immeuble entier. Le montant à charge des locataires en cause, calculé en proportion de la surface habitable totale de l'immeuble (88/1'020), est ainsi de 1'238 fr. par année ou 103 fr. par mois. De ce montant, il faut encore déduire 25 fr. 90 pour tenir compte d'une diminution du taux hypothécaire de 3,25% à 3% et d'une variation de l'indice des prix à la consommation de 107,3 à 103,9 (sic!). Il en résulte finalement une hausse admissible de 77 fr. par mois. C. Le bailleur (ci-après: le recourant) interjette un recours en matière civile auprès du Tribunal fédéral. Il conclut principalement à ce que les locataires (ci-après: les intimés) soient condamnés à lui payer une augmentation de loyer de 144 fr., avec intérêts à 5% l'an sur les montants impayés dès l'échéance de chaque mensualité de loyer. Les recourants ont été invités à se déterminer. L'ordonnance leur a été adressée personnellement (cf. art. 40 al. 1 LTF; art. 6 al. 1 et art. 8 al. 1 let. d LLCA, RS 935.61), avec copie à l'ASLOCA Neuchâtel. Ils n'ont pas répondu dans le délai fixé. L'autorité précédente se réfère à son arrêt. 