Faits: A. B._, né en 1968, travaillait en qualité de bagagiste. Invoquant les séquelles d'une opération pour une tumeur ou un kyste cérébral, il a déposé le 17 octobre 2002 une demande de prestations auprès de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI). L'office AI a confié la réalisation d'une expertise à la doctoresse C._, spécialiste FMH en neuropsychologie. Ce médecin a conclu à l'exigibilité de l'activité habituelle et de toute activité simple, à plein temps, avec une diminution de rendement de 20 % (rapport du 20 septembre 2005). Sur cette base, l'office AI a refusé par décision du 30 novembre 2005 l'octroi de mesures professionnelles et d'une rente. Saisie d'une opposition de B._, l'administration a mandaté la doctoresse O._, spécialiste FMH en psychiatrie et psychothérapie, pour la mise en ?uvre d'une seconde expertise, dont il est ressorti une incapacité totale de travail (rapport du 6 février 2008). L'office AI a encore soumis l'intéressé à un examen effectué par son Service médical régional (ci-après SMR). Les doctoresses N._, spécialiste en psychiatrie et psychothérapie, et V._, spécialiste FMH en pneumologie et en médecine interne générale, ont retenu une capacité de travail de 80 % dans l'activité habituelle et dans toute activité répétitive, sans responsabilités et sans stress (rapport du 20 novembre 2008). Le 27 mars 2009, l'office AI a rejeté l'opposition. B. L'assuré a déféré cette décision auprès du Tribunal cantonal du canton de Vaud, Cour des assurances sociales, concluant principalement à l'octroi d'une rente entière de l'assurance-invalidité à compter du 1er avril 2003 et subsidiairement au renvoi de la cause à l'office AI pour instruction complémentaire et nouvelle décision. Le Tribunal cantonal a chargé le docteur F._, spécialiste FMH en psychiatrie et psychothérapie, de réaliser une expertise judiciaire. Celui-ci a diagnostiqué, sans influence sur la capacité de travail, un syndrome de dépendance alcoolique (utilisation continue), un trouble anxiété généralisée et un trouble mixte de la personnalité (expertise du 30 novembre 2010). Par jugement du 21 juillet 2011, le Tribunal cantonal a rejeté le recours. C. B._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut au renvoi de la cause au Tribunal cantonal pour nouvelle décision après instruction complémentaire sous forme d'expertise. Le Tribunal fédéral a renoncé à procéder à un échange d'écritures. 