Faits: A. Y._-Assurance pour la vieillesse (ci-après: Y._), établissement de droit public dont le but est de promouvoir la prévoyance pour la vieillesse en servant des rentes à ses assurés, est propriétaire d'un immeuble sis rue ... à Genève. Au rez-de-chaussée se trouve une arcade qui est louée, depuis 1958, à la famille X._, laquelle y exploite une boutique de vente de vêtements, spécialisée dans les articles pour enfants, à l'enseigne "V._". A la fin des années 1970, la boutique, alors en main de B.X._, a été reprise par son fils, A.X._. Le 1er janvier 2001, Y._ et A.X._ ont conclu un nouveau contrat de bail pour une durée de dix ans, allant du 1er janvier 2001 au 31 décembre 2010, renouvelable ensuite d'année en année, sauf résiliation donnée six mois avant l'échéance. Le loyer annuel, charges comprises, a été fixé à 87'000 fr. avec une clause d'échelonnement; depuis le 1er janvier 2009, il est supérieur à 90'000 fr. par an. Par avis officiel du 9 octobre 2008, Y._ a résilié le contrat pour le 31 décembre 2010. A.X._ s'est opposé au congé. Y._ a expliqué qu'elle avait l'intention de récupérer les locaux loués pour aménager, au rez-de-chaussée du bâtiment, un espace accessible au public destiné à promouvoir ses produits de prévoyance et comprenant un kiosque, un café, un bancomat et une structure d'information. Le 29 mars 2010, le département compétent a autorisé les travaux de réaménagement de l'arcade litigieuse. Cette autorisation est entrée en force. A.X._, qui a eu 65 ans en septembre 2009, a expliqué qu'il ne pouvait pas trouver des locaux équivalents au centre de la ville (une arcade qui lui a été proposée à la rue ... étant inappropriée), qu'il n'entendait pas vendre son fonds de commerce et qu'il souhaitait le remettre à ses filles. B. Par requête du 7 novembre 2008, A.X._ a demandé l'annulation du congé et subsidiairement une prolongation du bail d'une durée de six ans. Y._ s'est opposée à la demande. Le 26 juin 2009, la Commission de conciliation en matière de baux et loyers a déclaré que le congé était valable et a accordé à A.X._ une prolongation du bail jusqu'au 31 décembre 2014. Saisi par le locataire, le Tribunal des baux et loyers du canton de Genève, par jugement du 24 mars 2011, a déclaré valable le congé donné le 9 octobre 2008 pour le 31 décembre 2010 et a accordé au locataire une prolongation du bail de quatre ans échéant au 31 décembre 2014. Saisie d'un appel formé par le locataire et d'un appel incident formé par la bailleresse, la Chambre des baux et loyers de la Cour de justice genevoise, statuant par arrêt du 20 février 2012, a rejeté aussi bien l'appel que l'appel incident et confirmé le jugement attaqué. C. A.X._ exerce un recours en matière civile au Tribunal fédéral. Invoquant l'arbitraire dans l'appréciation des preuves et l'établissement des faits ainsi qu'une violation des art. 271 et 272 CO, il conclut à l'annulation de l'arrêt attaqué et à ce que la résiliation du bail soit déclarée nulle; subsidiairement, il conclut à l'octroi d'une prolongation de bail de six ans et, plus subsidiairement, à ce que la prolongation de quatre ans soit qualifiée de première prolongation. L'intimée propose le rejet du recours dans la mesure où il est recevable. 