Faits: A. Invoquant souffrir de douleurs à la jambe à la suite d'un accident professionnel survenu le 8 novembre 1994, A._ (né en 1958) a présenté le 8 mai 2001 une demande de prestations de l'assurance-invalidité (qui faisait suite à un précédent refus de prestations prononcé le 22 mars 1996). Entre autres mesures d'instruction, l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: office AI) a confié une expertise psychiatrique au docteur E._, spécialiste FMH en psychiatrie et psychothérapie. Dans son rapport du 9 août 2005 (complété les 6 décembre 2005 et 4 janvier 2006), le médecin a diagnostiqué un trouble somatoforme douloureux et un épisode dépressif moyen entraînant une incapacité de travail de 50 % dans l'activité exercée jusqu'alors (opérateur de contrôle auprès de X._ SA). A titre de mesures de rétablissement de la santé, il a conseillé d'augmenter la fréquence des séances de psychothérapie que l'assuré suivait régulièrement depuis mai 2004 auprès de la doctoresse N._ du Service psycho-social de Y._, de les doubler éventuellement de mesures cognitivo-comportementales et de mieux utiliser les possibilités thérapeutiques médicamenteuses. Le 27 janvier 2006, l'office AI a informé A._ qu'il allait lui allouer une rente; il lui a par ailleurs indiqué qu'au vu des conclusions de l'expertise psychiatrique, sa capacité de travail pouvait être améliorée au moyen d'une psychothérapie intensive (au moins une fois par semaine au lieu d'une fois par mois) et d'une optimisation du traitement médicamenteux. Il lui a également imparti un délai au 20 février 2006 pour confirmer qu'il allait suivre ces recommandations thérapeutiques et indiquer le nom du psychiatre traitant, ainsi que les dates des prochaines séances. Il l'a par ailleurs averti de la possibilité de réduire les prestations si l'assuré se soustrayait à un traitement raisonnablement exigible. Par décision du 17 mars 2006, l'administration a mis A._ au bénéfice d'une demi-rente d'invalidité à partir du 1er mars 2001. Sans nouvelles de sa part au 27 avril 2006, elle a rendu une décision par laquelle elle a suspendu le versement de la demi-rente à l'assuré avec effet immédiat. Au cours d'un échange de correspondance, celui-ci a contesté refuser de se soumettre à un traitement intensif et expliqué que ses psychiatres traitants, les docteurs N._ et P._ (depuis début 2007), assuraient un suivi mensuel régulier; la doctoresse N._ ne pouvait pas proposer des consultations plus fréquentes, son patient nécessitant une thérapie dans sa langue maternelle, alors que le docteur P._ estimait qu'un suivi hebdomadaire n'était pas justifié. Le 26 mai 2008, l'office AI a accordé rétroactivement à l'assuré une demi-rente d'invalidité du 1er juin au 31 décembre 2006 et supprimé le droit à cette prestation à partir du 1er janvier 2007, au motif que l'assuré aurait disposé d'une capacité de travail de 70 % s'il avait suivi immédiatement le traitement préconisé. B. Statuant le 17 mars 2011 sur le recours formé par l'assuré contre cette décision, le Tribunal cantonal, Cour des assurances sociales, du canton de Fribourg l'a rejeté. C. A._ interjette un recours en matière de droit public contre ce jugement, en concluant à son annulation ainsi qu'à celle de la décision administrative du 26 mai 2008. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire. L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. 