Faits: A. A.a Z._ a travaillé pour le compte de la société X._ SA, à C._, du 4 janvier 1971 au 31 octobre 2001, d'abord en qualité de mécanicien puis de superviseur dans le département de réglage optique. Le 6 octobre 1974, Z._ s'est blessé au genou droit en jouant au football. La Caisse nationale suisse en cas d'accidents (CNA) a pris en charge le cas, ainsi que deux rechutes survenues en juin 2000 et février 2001. Depuis le 14 février 2001, l'assuré n'a pas repris le travail et la CNA a versé des indemnités journalières dès cette date. Le 27 juin 2001, Z._ a été opéré par le docteur E._, spécialiste FMH en chirurgie orthopédique et traumatologie de l'appareil locomoteur, qui a posé une prothèse totale du genou bilatérale. Par la suite, l'assuré a été vu par de nombreux médecins et a séjourné à la Clinique Y._ du 6 novembre au 17 décembre 2002 et du 21 février au 17 mars 2006. Par décision du 5 novembre 2008, entrée en force, la CNA a alloué à l'intéressé une rente fondée sur une incapacité de travail de 43 % dès le 1er octobre 2008. A.b Entre-temps, le 30 janvier 2002, Z._ a déposé une demande de prestations de l'assurance-invalidité en vue d'une orientation professionnelle et d'un reclassement dans une nouvelle profession. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a recueilli des renseignements économiques et médicaux, dont les rapports médicaux au dossier de la CNA. Parmi ceux-ci, les docteurs I._ et G._, médecins à la Clinique Y._, avaient indiqué à la suite du premier séjour de Z._ dans cette clinique, que la capacité de travail dans l'activité antérieure était entière à partir du 18 décembre 2002 (rapport du 3 janvier 2003). Par décision du 6 juin 2003, l'office AI a mis l'assuré au bénéfice d'une rente entière d'invalidité du 1er février 2002 au 28 février 2003 (trois mois après l'amélioration de l'état de santé constaté à la Clinique Y._. En bref, il a considéré que l'assuré ne présentait plus d'incapacité de travail et, partant, d'invalidité à partir du 1er mars 2003. A la suite de l'opposition de Z._, l'office AI a soumis l'assuré à un examen bidisciplinaire auprès de son Service médical régional (SMR), où les docteurs P._, spécialiste FMH en rhumatologie, et la doctoresse V._, spécialiste FMH en psychiatrie, ont rendu leur rapport le 18 août 2005. Ces médecins ont diagnostiqué différentes atteintes à la santé et conclu que l'assuré présentait, dans son activité habituelle et une activité adaptée, une incapacité de travail inférieure à 20 % avant une fracture du coude (recte cubitus) gauche le 5 mars 2004; dès cette date et jusqu'au 30 novembre 2004, l'incapacité de travail avait été totale, puis avait baissé à 50 % jusqu'au 10 février 2005 et à 25 % par la suite. Ils ont indiqué qu'après l'ablation du matériel d'ostéosynthèse, la capacité de travail était de 85 %. Fort de ces conclusions, qui confirmaient selon lui, l'appréciation des médecins de la Clinique Y._, l'office AI a maintenu son point de vue, par décision sur opposition du 1er décembre 2005. B. Z._ a recouru contre cette décision auprès du Tribunal des assurances du canton de Vaud (aujourd'hui, Cour des assurances sociales du Tribunal cantonal vaudois). Il a produit une expertise rendue le 23 mars 2007 par le docteur A._, spécialiste en chirurgie orthopédique à la demande de la CNA. Pour sa part, la juridiction cantonale a confié une expertise judiciaire au Bureau T._, où les examens et différents tests ont été menés par les docteurs U._, spécialiste FMH en psychiatrie et psychothérapie, B._, spécialiste FMH en rhumatologie et médecine interne, W._, spécialiste FMH en chirurgie orthopédique et M._, spécialiste FMH en neurologie, ainsi que par la psychologue et neuropsychologue FSP N._. Dans leur rapport du 2 décembre 2010, les experts ont retenu pour l'essentiel les atteintes suivantes: - une aponévrosite plantaire gauche opérée compliquée d'une neuropathie péronière responsable de signes irritatifs persistant à la marche et provoquant des douleurs neuropathiques, - un trouble statique plantaire occasionnant une hyperkératose qui nécessitait des soins de pédicure en raison d'un risque de mal perforant inhérent à la polyneuropathie sensitive, - une atteinte cérébelleuse significative rendant la marche instable et provoquant des chutes à répétition dont la gravité était plus évidente à partir de juin 2004 (fracture du cubitus gauche), - une omarthrose gauche avec arthrose acromio-claviculaire, - une cervicarthrose évaluée dès 2003, sévère et symptomatique, - un abus d'alcool avec conséquences hépatique et neuropsychologique, - un status post prothèse de genou droit et gauche, avec douleurs, instabilité et un syndrome rotulien persistant (à gauche) et massif (à droite). Pour les experts, l'effet cumulatif de ces différentes atteintes avait entraîné une diminution durable, définitive et partielle de la capacité de travail. Dans l'activité antérieure de l'assuré, les médecins ont retenu une réduction de la capacité de travail de 50 % dès mars 2003; dans une activité adaptée, plus sédentaire, légère, avec alternance de position, ils ont admis que la capacité de travail était entière, mais avec une diminution de rendement de 40 % en raison des troubles cognitifs. Par jugement du 17 août 2011, la Cour des assurances sociales du Tribunal cantonal vaudois a admis le recours de Z._ et modifié la décision de l'office AI en ce sens que l'assuré a droit à une rente entière d'invalidité du 1er février 2002 au 30 mai 2003 et à une demi-rente dès le 1er juin 2003 (ch. II du dispositif). C. Z._ interjette un recours en matière de droit public contre ce jugement. Sous suite de dépens, il demande principalement la réforme de celui-ci, en ce sens que lui soit reconnu le droit à une rente entière d'invalidité dès le 1er février 2002 et pour une durée illimitée; à titre subsidiaire, il conclut à l'annulation du jugement cantonal et au renvoi de la cause aux premiers juges au sens des considérants. L'office AI a conclu au rejet du recours, alors que l'Office fédéral des assurances sociales a renoncé à se déterminer. 