Faits: A. Travaillant comme ouvrier agricole, B._ (né en 1976) a été mis en arrêt de travail à des taux variables à partir de 2004, en raison notamment d'une symptomatologie anxieuse. Licencié avec effet au 31 mai 2005, il a présenté le 12 septembre 2006 une demande de prestations de l'assurance-invalidité tendant à l'octroi d'une rente. L'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI) a recueilli différents avis médicaux, dont ceux du docteur S._, psychiatre traitant, et du docteur C._, psychiatre et psychothérapeute, mandaté par l'assureur perte de gain. Selon le rapport de ce médecin (du 19 juin 2006), B._ souffrait d'un trouble de l'anxiété généralisée de gravité moyenne et d'un épisode dépressif majeur de gravité légère à moyenne chez une personnalité immature à traits limites, probable intelligence limite; il disposait d'une capacité de travail de 50 %. Par la suite, l'office AI a soumis l'assuré à une expertise auprès du docteur C._. Dans un rapport du 18 octobre 2007, celui-ci a constaté une évolution favorable de la situation. Il a conclu à une capacité de travail entière de l'assuré dans une activité adaptée à ses compétences depuis le 1er janvier 2007 au plus tard. Fort de ces conclusions, l'office AI a, par décision du 19 février 2008, accordé à l'assuré une demi-rente d'invalidité du 1er novembre 2005 au 31 décembre 2006. B. Saisie d'un recours de B._ contre cette décision, la Cour des assurances sociales du Tribunal cantonal fribourgeois a requis des renseignements complémentaires auprès du docteur C._, qui les lui a fournis par courrier du 5 octobre 2010. Statuant le 20 décembre suivant, la Cour des assurances sociales a partiellement admis le recours; elle a réformé la décision du 19 février 2008 en ce sens que l'assuré a droit à une demi-rente d'invalidité du 1er novembre 2005 au 31 décembre 2007. C. B._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation. Sous suite de dépens, il conclut principalement à l'octroi d'une demi-rente d'invalidité pour une durée indéterminée; à titre subsidiaire, il demande que soit ordonnée une expertise pluridisciplinaire en milieu hospitalier. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire. L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer à son sujet. 