Faits: A. Par contrat du 2 juillet 2004, X._ (le bailleur) a remis à bail à Z._ (la locataire), moyennant un loyer annuel de 18'000 fr., charges non comprises, l'usage d'un appartement de trois pièces, avec cave, sis au 1er étage de l'immeuble bâti au ..., à Genève. Le bail a été conclu pour une durée initiale de cinq ans, soit du 1er juillet 2004 au 30 juin 2009. La formule officielle indiquant le loyer initial, datée du 2 juillet 2004, mentionnait que le loyer acquitté par le précédent locataire se montait à 16'800 fr. par an, sans les charges, depuis le 1er mai 2003 et que le motif de l'augmentation du loyer résidait dans l'adaptation aux loyers usuels du quartier, au sens de l'art. 269a let. a CO. L'immeuble dans lequel se trouve ledit appartement a été construit entre les années 1921 et 1946. Il n'est pas contesté que cet immeuble était initialement propriété de la société immobilière A._ (ci-après: la société immobilière). A une date inconnue mais avant le 12 juillet 1984, il a été soumis au régime de la propriété par étages. Dans son recours au Tribunal fédéral, le bailleur a allégué que cette année-là ce bâtiment était toujours la propriété de la société immobilière, car il est notoire que cette société n'a été dissoute que le 9 décembre 1997 par une décision de l'assemblée générale, puis radiée le 27 octobre 1999 après sa liquidation. L'appartement précité a une surface d'environ 48 m2; il se compose d'un salon, d'une chambre à coucher, d'une cuisine aménagée, d'une salle de bains, d'un petit hall et dispose d'un balcon de faible dimension; il ne possède pas de fenêtres à doubles vitrages. Si les murs et plafonds du salon et de la chambre à coucher avaient été repeints peu avant l'entrée de la locataire dans les locaux, les murs des autres pièces, ainsi que les boiseries et plinthes étaient défraîchis, alors que les radiateurs étaient poussiéreux et décrits comme « pas très propres » dans le procès-verbal d'état des lieux d'entrée effectué le 14 juillet 2004. B. B.a Le 28 juillet 2004, Z._ a contesté le loyer initial devant la Commission de conciliation en matière de baux et loyers de Genève, requérant en outre l'exécution de travaux. Elle a sollicité que le bailleur produise toutes les pièces utiles à la mise en oeuvre d'un calcul de rendement. Le 9 novembre 2004, cette autorité a constaté l'échec de la conciliation. Le 15 novembre 2004, la locataire a saisi le Tribunal des baux et loyers du canton de Genève d'une requête en contestation du loyer initial. Elle a requis que le loyer annuel de 18'000 fr., charges non comprises, soit déclaré abusif, qu'il soit réduit au montant de 9'675 fr. par an, sans les charges, qu'il soit ordonné un calcul de rendement, le bailleur devant produire toutes les pièces comptables nécessaires pour déterminer le rendement admissible, que le bailleur soit condamné à lui rembourser les loyers encaissés en trop et que la garantie bancaire soit ramenée à trois mois du loyer réduit. Le bailleur a conclu principalement à l'irrecevabilité de la demande, subsidiairement à son rejet, le loyer de l'appartement devant être fixé à 18'000 fr. par an dès le 1er juillet 2004, sans les charges. Il a soutenu que les conditions mises par l'art. 270 al. 1 CO pour que la locataire soit autorisée à contester le loyer initial n'étaient pas remplies et que de toute manière le loyer contesté n'était pas abusif. Invité par le tribunal à produire les pièces nécessaires pour effectuer un calcul de rendement, le bailleur a déposé le 20 juin 2005 notamment un protocole d'accord signé le 20 juin 1988; il résulte de ce document que le bailleur a acquis, pour le prix de 79'500 fr., un certificat d'actions représentant 27 actions de la société immobilière alors propriétaire de l'immeuble érigé au ..., soit 27,5/1000e correspondant à l'appartement de trois pièces en cause. Le bailleur a également produit les comptes de charge du bâtiment pour les années 2000 à 2003. Dans ses conclusions motivées du 6 septembre 2005, la locataire, sur la base d'un calcul de rendement, a conclu principalement à ce que le loyer annuel soit fixé à 4'584 fr., sans les charges, dès le 1er juillet 2004, subsidiairement à ce qu'il soit fixé dès cette date à 9'675 fr. compte tenu des statistiques, le bailleur devant lui restituer les loyers perçus en trop. B.b Par jugement du 8 septembre 2006, le tribunal a fixé à 12'000 fr., charges non comprises, dès le 1er juillet 2004 le loyer annuel de l'appartement, condamné le bailleur à restituer à la locataire le trop-perçu de loyers et réduit la garantie bancaire à trois mois du loyer ainsi recalculé. Renonçant à effectuer un calcul de rendement au motif que le prix d'achat des actions de la société immobilière ne reflétait pas la valeur de l'appartement, en sorte que le prix d'acquisition de celui-ci ne pouvait pas être déterminé, le tribunal a arrêté le nouveau loyer sur la base de statistiques. Le 29 octobre 2007, la locataire a quitté l'appartement dont le loyer est litigieux et rendu les clés de celui-ci. Par arrêt du 8 septembre 2008, la Chambre d'appel en matière de baux et loyers du canton de Genève a annulé le jugement précité et renvoyé la cause au Tribunal des baux et loyers pour reprise de l'instruction. Elle a d'emblée admis que la locataire était fondée à contester le loyer initial en application de l'art. 270 al. 1 let. a CO, dans la mesure où la seule condition alternative afférente à l'existence d'une situation de pénurie sur le marché du logement était réalisée. La cour cantonale a retenu que le tribunal avait écarté à tort la possibilité d'effectuer un calcul de rendement, car la valeur du certificat d'actions, qui ne concernait que l'appartement et la cave remis à bail à la locataire à l'exclusion de tout autre objet ou valeur, représentait manifestement la valeur d'achat de ce logement, que cette valeur n'apparaissait pas disproportionnée et qu'elle pouvait ainsi servir de base pour fixer le rendement admissible. Elle a donc retourné l'affaire au tribunal pour qu'il effectue un calcul de rendement. B.c Le Tribunal des baux et loyers a repris l'instruction. Au cours de celle-ci, le bailleur a fait valoir que le calcul de rendement était impossible en l'espèce, dès l'instant où le prix de vente des actions d'une société immobilière pouvait comprendre d'autres valeurs que la seule valeur vénale de l'objet immobilier acquis. Il a alors produit, avec ses écritures du 11 septembre 2009, les fiches de cinq appartements de comparaison. Il a encore déposé l'état locatif de deux autres immeubles situés dans le quartier et s'est prévalu des statistiques cantonales des loyers pour les appartements de trois pièces en Ville de Genève dans des immeubles construits avant 1951. Quant à la locataire, elle a prétendu que le loyer pouvait être fixé en fonction d'un calcul de rendement à opérer sur la base des documents produits par le bailleur et que le loyer admissible devait être arrêté à 4'926 fr. par an, charges non comprises. Par jugement du 30 novembre 2009, le Tribunal des baux et loyers a effectué un calcul de rendement et prononcé que le loyer annuel de l'appartement de la locataire devait être arrêté à 9'675 fr. sans les charges dès le 1er juillet 2004. Le tribunal, bien qu'il ait abouti par la méthode absolue à un loyer admissible de 4'926 fr.75 par an, l'a fixé à 9'675 fr. par an, hors charges, pour se conformer aux conclusions prises par la locataire dans ses premières écritures, que cette dernière n'était pas en droit de modifier en cours d'instance à défaut d'avoir formulé de réserve. Par arrêt du 19 septembre 2011, la Chambre des baux et loyers de la Cour de justice du canton de Genève, statuant sur l'appel du bailleur (qui voulait que le loyer initial soit maintenu à 18'000 fr. par an hors charges) et l'appel incident de la locataire (qui requérait que le loyer annuel soit fixé à 4'926 fr.75 sans les charges), a rejeté l'appel principal, admis l'appel incident et fixé le loyer admissible pour l'appartement à 4'926 fr.75 par an dès le 1er juillet 2004, condamné le bailleur à restituer à la locataire le trop-perçu de loyers et réduit la garantie bancaire à trois mois du loyer calculé à nouveau. Considérant que l'appartement ne pouvait être qualifié d'ancien au sens de la jurisprudence du Tribunal fédéral, la Chambre des baux et loyers a écarté le critère des loyers usuels pour procéder à un calcul de rendement d'après les documents produits par le bailleur, retenant la méthode et les chiffres adoptés par le Tribunal des baux et loyers dans son jugement du 30 novembre 2009. La cour cantonale a également admis, en vertu de l'interdiction du formalisme excessif, que le tribunal ne pouvait pas s'en tenir aux premières conclusions prises par la locataire dans sa requête initiale, puisque les éléments utiles pour procéder à un calcul de rendement n'étaient pas connus de cette dernière à ce moment. Le tribunal ayant déterminé le loyer annuel admissible à 4'926 fr.75, c'est à ce montant qu'il se devait de fixer le loyer initial à compter du 1er juillet 2004, d'où l'admission de l'appel incident sur ce point. C. Le bailleur exerce un recours en matière civile au Tribunal fédéral contre l'arrêt précité. Principalement, il conclut à la mise à néant de cette décision et au renvoi de la cause à la cour cantonale pour qu'elle réalise une expertise en vue que soient déterminés la valeur intrinsèque de l'appartement que louait la locataire puis, sur cette base, le rendement non abusif de ce logement. Subsidiairement, il requiert que le loyer annuel initial admissible de l'appartement soit arrêté à un montant minimum de 13'392 fr. dès le 1er juillet 2004, sans les charges. L'intimée propose le rejet du recours et la confirmation de l'arrêt déféré. 