Faits: A. M._, né en 1973, a travaillé depuis juin 2004 comme opérateur de contrôle pour le compte de la société X._ SA ; il en a été licencié pour le 30 avril 2008. Après s'être annoncé à l'assurance-chômage, le prénommé a déposé le 6 octobre 2009 auprès de l'Office de l'assurance-invalidité du canton de Fribourg (l'office AI) une demande tendant à l'octroi d'une rente et de mesures de réadaptation professionnelle, invoquant une atteinte à la santé psychique. Ayant joint à la cause le dossier constitué par l'assurance-chômage (comprenant une attestation de l'employeur du 30 avril 2008 dans laquelle X._ SA indique notamment que M._ n'avait pas travaillé entre le 12 décembre 2007 et le 30 avril 2008), l'administration a recueilli les renseignements médicaux usuels auprès des médecins traitants de l'assuré. Le docteur A._, spécialiste FMH en médecine interne générale, estimait qu'en dépit d'un trouble de la personnalité sans précision, son patient était en mesure de travailler sans restrictions dans l'activité habituelle (rapport du 22 octobre 2009). Les docteurs V._ et T._, du Service psycho-social Y._ (le service psycho-social), considéraient que l'intéressé souffrait d'un trouble de la personnalité émotionnellement labile, type impulsif, existant depuis l'adolescence, limitant à 50 % sa capacité de travail et diminuant son rendement ; ils ont en outre retenu plusieurs périodes d'incapacité totale de travailler pour l'année 2009 (du 9 mars au 3 avril, du 18 au 21 août et du 21 septembre au 13 octobre ; rapport du 9 novembre 2009). L'office AI a soumis ces documents à l'appréciation de la doctoresse H._, spécialiste FMH en médecine interne générale auprès de son service médical régional (SMR), qui a conclu à l'existence d'une pleine capacité de travail dans l'activité habituelle (rapport du 1er décembre 2009). Par décision du 1er mars 2010 confirmant un projet du 5 janvier précédent, l'administration a rejeté la demande. B. L'assuré a déféré cette décision devant le Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, en concluant à la mise en ?uvre d'une expertise bidisciplinaire (psychiatrique et neurologique) ainsi qu'à l'octroi de mesures professionnelles et d'une rente de l'assurance-invalidité. Il a transmis au tribunal cantonal un certificat médical (du 23 mars 2010) du docteur B._, spécialiste FMH en psychiatrie et psychothérapie, faisant état d'une incapacité de travail totale du 14 février au 19 mars 2010. L'office AI a produit un rapport (du 7 mars 2011) du docteur R._, spécialiste FMH en psychiatrie et psychothérapie auprès du service psycho-social, dont il ressort notamment que M._ avait été hospitalisé du 1er au 11 février 2010. Par jugement du 20 septembre 2012, le tribunal cantonal a modifié la décision du 1er mars 2010 en ce sens que la cause était renvoyée à l'office AI pour nouvelle décision sur le droit du prénommé à des mesures de réadaptation, au besoin après avoir mis en ?uvre des mesures d'instruction complémentaires, et rejeté le recours pour le surplus. C. M._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut à l'octroi d'une rente de l'assurance-invalidité, éventuellement au renvoi de la cause à l'office AI pour mise en ?uvre d'une instruction complémentaire sous forme d'expertise bidisciplinaire psychiatrique et neurologique. 