Faits: A. Depuis 1971, X._ loue un appartement de deux pièces appartenant à Y._. Par formule officielle du 5 octobre 2005, la bailleresse a notifié au locataire la résiliation de son bail pour le 31 mars 2006. B. Par lettre du 13 octobre 2005, le locataire a saisi la Commission de conciliation en matière d'abus dans le secteur locatif du district de la Sarine aux fins de « connaître les raisons de la résiliation de [son] bail pour le 31 mars 2006 et cela conformément à l'art. 273 du CO ». Il précisait savoir qu'il aurait le « droit de demander une prolongation du bail, selon les art. 272-273 du CO », mais que ses « relations avec le voisinage [étaient] trop détériorées pour rester » dans l'immeuble et que son « seul désir » était de « quitter cet endroit au plus vite ». Il s'inquiétait en outre de savoir s'il avait, le cas échéant, le droit de quitter son appartement avant le 31 mars 2006. Lors de la séance de conciliation du 23 novembre 2005, le locataire a déclaré avoir changé d'avis et a requis l'annulation de la résiliation de son bail ou, à défaut, sa prolongation pour la durée maximale. Par décision du même jour, la Commission de conciliation a rejeté la requête en annulation et prolongé le bail jusqu'au 31 mars 2007. Le 27 mars 2006, le locataire a saisi le Tribunal des baux de la Sarine, concluant à l'annulation du congé. Ayant ensuite mandaté un avocat, il a déposé un mémoire complémentaire du 12 avril 2006 dans lequel il a demandé, outre l'annulation du congé, à ce qu'une isolation phonique soit posée dans son appartement, à ce qu'un avertissement soit donné au concierge de l'immeuble ainsi qu'à un autre locataire et à ce que ceux-ci soient invités à ne plus l'importuner, enfin à ce que son loyer mensuel soit réduit de 200 fr. rétroactivement et jusqu'à ce que ces mesures aient été prises. Dans un mémoire complémentaire du 18 janvier 2007, le locataire a encore amplifié ses conclusions, ajoutant de nouvelles prétentions en termes de travaux à réaliser et de réduction de loyer qu'il consignait d'ailleurs à partir du mois de janvier 2007. Par jugement du 22 mars 2007, le Tribunal des baux a déclaré la demande irrecevable. En résumé, il a considéré que le locataire avait expressément renoncé à contester la résiliation du bail ou à réclamer sa prolongation dans la lettre du 13 octobre 2005 par laquelle il avait saisi la Commission de conciliation, et que la demande d'annulation du congé et de prolongation de bail, présentée le 23 novembre 2005 en audience de conciliation, était tardive car faite après l'échéance du délai légal de trente jours. Il a aussi jugé que les autres conclusions étaient irrecevables au motif qu'elles n'avaient pas fait l'objet de la procédure devant la Commission de conciliation et n'avaient aucune connexité avec la demande initiale tendant à connaître la motivation du congé. Par arrêt du 11 février 2008, la IIe Cour d'appel civil du Tribunal cantonal de l'Etat de Fribourg a rejeté le recours du locataire et confirmé le jugement du 22 mars 2007. C. Le locataire (le recourant) a interjeté un recours en matière civile au Tribunal fédéral, concluant, avec suite de dépens, à ce que l'arrêt du 11 février 2008 soit annulé, à ce que sa demande du 27 mars 2006, complétée les 12 avril 2006 et 18 janvier 2007, soit déclarée recevable et à ce que la cause soit renvoyée au Tribunal cantonal afin qu'il statue sur les dépens, puis au Tribunal des baux pour qu'il statue sur le fond de la demande. Il a également demandé l'effet suspensif au recours, qui a été accordé par ordonnance présidentielle du 8 mai 2008. La bailleresse (l'intimée) a proposé le rejet du recours, sous suite de frais et dépens. 