Faits: A. A.a F._ a obtenu un CFC de dessinateur en bâtiments après avoir effectué un apprentissage de 1982 à 1986. Par la suite, il a occupé divers emplois dans sa profession entrecoupés de séjours à X._, en particulier à Y._. Le 1er janvier 1989, F._ a été blessé à la main droite par un pétard alors qu'il fêtait le Nouvel-An à Z._. L'explosion a nécessité une amputation traumatique partielle de la phalange distale du pouce, de l'index et du majeur (rapport du docteur R._ du 10 avril 1989). Le cas a été pris en charge par la Caisse nationale suisse d'assurance en cas d'accidents (CNA), laquelle a alloué une rente basée sur une incapacité de gain de 25 %, dès le 1er octobre 1989 (décision du 31 juillet 1991). A la suite de cet accident, le 23 février 1989, F._ a déposé une demande de prestations de l'assurance-invalidité en vue d'une orientation professionnelle, d'un reclassement dans une nouvelle profession et d'une rente. Cette demande a été classée le 30 novembre 1989, au motif que l'assuré a renonçé, au moins temporairement, à des mesures de réadaptation professionnelle pour effectuer de "petits boulots" lui rapportant l'argent dont il a besoin pour voyager. Durant les années qui ont suivi son accident, F._ a exercé divers emplois, souvent non qualifiés, en alternance avec des séjours à l'étranger, principalement à Y._. Il n'a plus travaillé en Suisse de décembre 1992 à juin 1995 et d'août 1997 au 15 janvier 2001, date à laquelle il a été engagé comme monteur par l'entreprise de serrurerie W._ . A.b Le 30 mars 2001, victime d'un accident de moto au cours de vacances à V._, F._ a été hospitalisé à U._. Rapatrié en Suisse, il a été soigné par le docteur K._, chirurgien, lequel a constaté des fractures de la clavicule droite, du radius distal droit, de l'avant-bras gauche, de la main gauche avec dislocation de la 2ème à la 5ème articulation carpo-métacarpienne, du bassin, du fémur gauche, du condyle fémoral interne du genou gauche et une fracture périorbitaire avec atteinte du globe oculaire gauche (rapport rendu a une date ultérieure, soit le 13 juillet 2001). Le 10 juillet 2001, le docteur S._, ophtalmologue, a procédé à une énucléation avec mise en place d'un implant à l'?il gauche. Le 29 août 2001, F._ a déposé une nouvelle demande de prestations de l'assurance-invalidité en raison de cet accident de moto. Le 18 mars 2002, F._ a été admis aux urgences de l'Hôpital T._, où le docteur K._ a diagnostiqué une fracture du col du fémur gauche et procédé à une réduction sanglante par ostéosynthèse. Au cours de son hospitalisation, les médecins ont découvert une fracture D5-D8, probablement ancienne, qu'ils ont traitée par le port d'un corset 3 points (rapports des docteurs K._ et O._ du 29 avril 2002). Le 7 mai 2002, F._ a chuté dans les escaliers. Transféré aux urgences de l'Hôpital T._, il a été pris en charge par les docteurs J._ et O._, lesquels ont diagnostiqué un status après ostéosynthèse d'une fracture du col du fémur gauche et un tassement fracturaire post-traumatique du col fémoral gauche avec protrusion de la lame-plaque dans l'articulation. Les médecins ont procédé à un changement de la plaque (rapports du 5 juillet 2002). Par décision du 12 août 2003, l'Office AI du canton de Fribourg (ci-après: l'office AI) a octroyé une rente entière dès le 1er mars 2002. Le 31 octobre 2003, le docteur B._, chirurgien au Service d'orthopédie et de traumatologie du Centre Hospitalier A._, a procédé à une ostéotomie de valgisation du fémur proximal gauche pour cure de pseudarthrose d'une fracture du col (rapport du jour même). Le 24 janvier 2004, lors d'une crise convulsive, F._ a fait une chute. Le lendemain, il a été admis aux urgences de l'hôpital T._ où les docteurs P._ et D._ ont diagnostiqué une fracture-luxation de l'épaule gauche. Ces médecins ont d'abord procédé à une réduction de l'épaule le 25 janvier 2004, puis, à une réduction sanglante avec ostéosynthèse de la grande tubérosité de l'humérus gauche (rapport du 11 février 2004). L'ablation du matériel d'ostéosynthèse a eu lieu le 6 octobre 2004 par les docteurs C._ et I._ de la clinique orthopédique de l'Hôpital T._ (rapport du 3 novembre 2004). Le 18 février 2004, l'Office de l'assurance-invalidité du canton de Fribourg a initié une révision du droit à la rente. Le 3 décembre 2004, le docteur B._ a procédé à une arthrolyse du genou gauche, avec ablation du matériel d'ostéosynthèse du condyle interne et de la diaphyse fémorale gauche, résection d'ossification ectopique du condyle interne gauche et transposition de la tubérosité tibiale antérieure (rapport du jour même). Le 25 février 2005, le docteur B._ a pratiqué une ostéotomie de valgisation par soustraction externe distale du fémur gauche (rapport du jour même). Le 16 mars 2005, le docteur E._, neurologue au Service de neurologie de A._, a pratiqué un EEG sur l'assuré, dont l'évaluation - très satisfaisante - ne révélait aucun foyer lésionnel ou élément suspect de la série comitiale, le patient restant sous traitement médicamenteux (rapport du 24 mai 2005). Un nouvel EEG, effectué le 13 juin 2005, n'a montré aucune séquelle actuelle sur le plan neurophysiologique (rapport du docteur E._ du 15 juin 2005). Dans un rapport du 7 septembre 2005, le docteur G._, médecin au Service médical régional des Offices AI (SMR), a diagnostiqué, avec répercussion sur la capacité de travail, des séquelles d'un polytraumatisme avec douleurs et limitations fonctionnelles au membre inférieur gauche, une amputation traumatique des extrémités des trois premiers doigts de la main droite, des crises comitiales post-traumatiques (dernier épisode le 8 décembre 2004) et une perte de l'?il gauche. L'assuré devait éviter les ports de charges de plus de 10-15 kg, les travaux pénibles de manutention, le travail à la chaîne, la position debout prolongée (une activité en position assise était indiquée), la position à genoux ou accroupie, les longs déplacements (maximum 500m) et/ou les déplacements sur sols irréguliers, les montées ou descentes fréquentes d'escaliers, le travail en hauteur ou sur une échelle, les horaires irréguliers ou/et de nuit, l'exposition au froid, les travaux requérant une vision binoculaire et les activités fines avec la main droite. Compte tenu de ces limitations, le médecin du SMR a admis que l'assuré pouvait réaliser un horaire complet avec un rendement à 75 % dans une activité adaptée. Par décisions du 24 février 2006, l'office AI a accordé à l'assuré une aide au placement et a supprimé la rente, avec effet au 31 mars 2006, au motif que le taux d'invalidité de 36 % n'atteignait pas le seuil à partir duquel une telle prestation est accordée. Dans un rapport du 29 mars 2006, le docteur H._, spécialiste de médecine interne et médecin traitant, a diagnostiqué, avec répercussion sur la capacité de travail: des troubles psychiatriques sévères (personnalité borderline et état dépressif réactionnel sévère multifactoriel), un status post polytraumatisme le 30 mars 2001, une fracture du col fémoral gauche en 2002 et une arthrolyse du genou gauche. Il a estimé que l'incapacité de travail de son patient était totale. Le 10 novembre 2006, l'office AI a rejeté l'opposition formée par F._ à l'encontre de sa décision du 24 février 2006 relative à la suppression de la rente. Il a retenu, sur la base d'un rapport du docteur G._ du 29 mai 2006, que les troubles psychiatriques mentionnés par le docteur H._, n'étaient pas établis et qu'une expertise psychiatrique n'était pas nécessaire. F._ a recouru contre la décision sur opposition de l'office AI devant la Cour des assurances sociales du Tribunal cantonal fribourgeois, qui, par jugement du 29 mai 2009, a admis le recours et renvoyé la cause à l'administration pour qu'elle mettre en oeuvre une expertise pluridisciplinaire. Reprenant l'instruction de l'affaire, l'office AI a chargé la Clinique L._ d'une expertise. Celle-ci a été confiée aux docteurs M._, psychiatre et psychothérapeute, N._, neurologue, Q._, chirurgien orthopédiste, et à BB._, psychologue et neuropsychologue. Dans leur rapport du 8 janvier 2010, les experts ont retenu les diagnostics suivants avec répercussion sur la capacité de travail: 1. status après amputation traumatique partielle du pouce, de l'index et du médius droits (depuis 1989); 2. ossifications hétérotopiques et instabilité du genou gauche (depuis 2001); 3. énucléation de l'?il gauche avec vision seulement monoculaire et perte de la vision stéréoscopique (depuis 2001); 4. épilepsie lésionnelle parfaitement stabilisée par le Neurontin® (gabapentine) 300mg 2 fois par jour (depuis décembre 2004); 5. légers troubles cognitifs infracliniques, dont il est impossible de préciser la causalité; 6. troubles mentaux et troubles du comportement liés à l'utilisation d'opiacés, syndrome de dépendance (F 11.2), utilise actuellement la méthadone (seraient apparus dans les années 1980). En fonction de ces diverses atteintes, les experts ont estimé qu'un travail adapté devait respecter un certain nombre de limitations fonctionnelles. L'assuré devait éviter le port de charges de plus de 10 kg, la position à genoux ou accroupie, la position debout prolongée, la montée/descente fréquente des escaliers, le travail en hauteur ou sur une échelle, les longs déplacements (maximum 500 mètres ou sur sols irréguliers), les travaux de manutention lourds, les tâches exigeant de la force au niveau des doigts, la préhension manuelle fine, l'utilisation d'un clavier d'ordinateur, les tâches requérant un rendement soutenu. En outre, le travail envisagé devait être adapté à la vision monoculaire et à l'absence de vision stéréoscopique; devaient aussi être évités: le travail de nuit, les horaires irréguliers et les milieux de l'hôtellerie. Etait également mentionné un ralentissement dans certaines tâches de nature visuelle et de planification. Pour les experts, la capacité de travail de l'assuré était nulle dans une activité de serrurerie et dans un travail de dessinateur en bâtiment. En revanche, dans une activité adaptée respectant les limitations fonctionnelles précitées, elle était entière avec un plein rendement. Par projet de décision du 21 janvier 2010, l'office AI a informé l'assuré qu'il envisageait de supprimer la rente avec effet au premier jour du deuxième mois suivant la notification de la décision, la rente d'invalidité ayant été rétablie à la suite au jugement cantonal du 29 mai 2009. Pour fonder sa décision, l'office AI a fait siennes les conclusions des experts de la Clinique L._ et retenu un taux d'invalidité de 25 %. Le 1er mars 2010, l'office AI a décidé de supprimer la rente de l'assuré, confirmant ainsi son projet de décision. A.c Pour sa part, la CNA, qui a pris en charge ces divers accidents, a remboursé les frais des traitements médicaux et versé des indemnités journalières à 100 % du 2 avril 2001 au 31 décembre 2010, date à laquelle elle a estimé que les conditions de la liquidation du cas étaient remplies. Par décision du 25 novembre 2010, la CNA a alloué à F._ une rente d'invalidité fondée sur un taux d'incapacité de gain de 27 % dès le 1er janvier 2011 et lui a octroyé une indemnité pour atteinte à l'intégrité fondée sur une perte d'intégrité de 55 %. Statuant sur l'opposition de l'assuré, la CNA l'a rejetée le 4 février 2011. F._ a interjeté recours contre cette décision devant la Cour des assurances sociales du Tribunal cantonal fribourgeois, qui l'a rejeté par jugement du 6 mars 2012. Saisi d'un recours en matière de droit public contre ce jugement, le Tribunal fédéral a statué par arrêt dont la date est identique à celle du présent arrêt (8C_354/2012). B. F._ a déféré la décision de l'office AI du 1er mars 2010 à la Cour des assurances sociales du Tribunal cantonal fribourgeois, qui, par jugement du 6 mars 2012, a rejeté le recours. C. F._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut, sous suite de dépens, principalement à l'octroi d'une rente entière d'invalidité et, subsidiairement, au renvoi de la cause à la juridiction inférieure pour qu'elle ordonne une nouvelle expertise pluridisciplinaire à confier à des experts neutres. Il requiert le bénéfice de l'assistance judiciaire gratuite. L'intimée a conclu implicitement au rejet du recours alors que l'Office fédéral des assurances sociales a renoncé à se déterminer. 