Faits: A. A.a N._ a travaillé comme chauffeur de poids lourds et mécanicien auprès de l'entreprise X._, pépiniériste-paysagiste. Souffrant de lombalgies, il a déposé, le 9 avril 2003, après avoir subi plusieurs périodes d'incapacité de travail, une demande de prestations de l'assurance-invalidité. Par décision du 1er septembre 2004, confirmée sur opposition le 21 janvier 2004 (recte: 2005), l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: office AI) a nié le droit de l'intéressé à une rente d'invalidité et à des mesures de réadaptation professionnelle sur la base d'un taux d'invalidité de 6 %, en le mettant toutefois au bénéfice d'une aide au placement. Dans le cadre de cette mesure, l'assuré a effectué en tant que mécanicien un stage d'entraînement au travail, suivi d'un stage de mise au courant, auprès de la société Y._ SA (cf. décisions des 29 juin 2005, 21 septembre 2005, 3 novembre 2005 et 28 avril 2006). Le 28 janvier 2006, alors qu'il portait des caisses de bouteilles à son domicile, l'assuré s'est tordu le genou droit et a chuté. Dans un premier temps, le traitement a été conservateur et l'assuré a pu reprendre son activité à 50 %. En raison de gonalgies persistantes, il a néanmoins dû subir une intervention chirurgicale en date du 2 juin 2006 et a été mis en arrêt de travail. La Caisse nationale suisse d'assurance en cas d'accidents (CNA) a pris en charge le cas. A compter du 12 avril 2007, l'assuré a bénéficié d'un nouveau stage financé par l'office AI auprès de l'entreprise Z._ à l'issue duquel il a été engagé en qualité de mécanicien-électricien au taux de 50 %. A.b Le 9 juin 2008, l'assuré a fait valoir une aggravation de son état de santé et demandé la "révision" de son droit à des prestations de l'assurance-invalidité. L'office AI a alors mandaté le Centre d'expertise W._ pour qu'il réalise une expertise interdisciplinaire, rhumatologique et psychiatrique. Sur le plan rhumatologique, la doctoresse L._, spécialiste FMH en rhumatologie - médecine physique et réadaptation, a conclu à une diminution de rendement de 15 à 20 % compte tenu de la nécessité de changer de position et de faire des pauses. Chargée du volet psychiatrique, la doctoresse V._, spécialiste FMH en psychiatrie et psychothérapie, a considéré que la dysthymie et le syndrome douloureux somatoforme diagnostiqués n'avaient pas d'impact sur la capacité de travail; elle a retenu une diminution de rendement de 20 à 30 % en raison des douleurs, de l'épuisement mental et de la fatigabilité de l'assuré (cf. rapport du 28 septembre 2009). En définitive, les médecins de W._ ont conclu qu'une activité adaptée était exigible à raison de 8 heures par jour avec une diminution de rendement de 20 à 30 % en raison des troubles psychiques (épuisement, tristesse, angoisse), de la nécessité de changer fréquemment de position et d'une certaine lenteur dans l'exécution des mouvements du membre supérieur droit (rapport du 22 décembre 2009). Par décision du 27 avril 2010, confirmant le projet de décision du 28 janvier 2010, l'office AI a nié le droit de l'intéressé à une rente d'invalidité, motif pris que le taux d'invalidité de 31 % était insuffisant pour ouvrir le droit à cette prestation. A.c Entre-temps, la CNA a rendu une décision le 12 mai 2009, confirmée sur opposition le 30 juin 2009, reconnaissant le droit de l'intéressé à une rente d'invalidité fondée sur un taux d'invalidité de 15 % à partir du 1er juillet 2009. La décision sur opposition a fait l'objet d'un recours devant la Cour des assurances sociales du Tribunal cantonal du canton de Fribourg qui l'a rejeté par jugement du 21 décembre 2011 (605 2009-251). Saisi d'un recours en matière de droit public contre ce jugement, le Tribunal fédéral a statué par arrêt dont la date est identique à celle du présent arrêt (cause 8C_208/2012). B. N._ a déposé un recours contre la décision du 27 avril 2010 de l'office AI devant le Tribunal du canton de Fribourg, Cour des assurances sociales, qui l'a débouté par jugement du 21 décembre 2011 (605 2010-181). C. N._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Sous suite de frais et dépens, il conclut principalement à l'allocation d'une rente d'invalidité à partir du 1er décembre 2008. Subsidiairement, il demande le renvoi de la cause à la juridiction cantonale pour nouvelle décision "au sens des considérants". L'office AI a indiqué qu'il n'avait aucune remarque particulière à formuler, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. 