Faits: A. X._, né en 1962, et dame X._, née en 1950, se sont mariés le 18 novembre 2005. Aucun enfant n'est issu de cette union. B. Par acte du 20 avril 2009, l'épouse a déposé devant le Président du Tribunal civil de l'arrondissement de la Sarine une requête de mesures protectrices de l'union conjugale. Statuant le 14 octobre 2009, le Président du Tribunal a notamment astreint l'époux à contribuer à l'entretien de son épouse par le versement d'une pension mensuelle de 1'220 fr., à partir du 1er avril 2009. Statuant le 4 août 2010 sur recours de l'époux, le Tribunal civil de l'arrondissement de la Sarine a réduit la contribution d'entretien mensuelle à 1'150 fr. du 1er avril au 31 décembre 2009, à 1'120 fr. du 1er janvier au 31 mai 2010 et à 970 fr. dès le 1er juin 2010. Par arrêt du 26 novembre 2010, la Ie Cour d'appel civil du Tribunal cantonal de l'Etat de Fribourg a rejeté l'appel de l'époux et confirmé le jugement du 4 août 2010. C. Par acte du 3 janvier 2011, X._ exerce un recours en matière civile au Tribunal fédéral. Il conclut à ce que l'arrêt attaqué soit réformé en ce sens qu'il est dispensé de toute contribution d'entretien. A titre préalable, il requiert d'être mis au bénéfice de l'assistance judiciaire. A l'appui de ses conclusions, il se plaint d'arbitraire dans l'établissement des faits, ainsi que dans l'application du droit fédéral. Des déterminations n'ont pas été requises. 