Faits: A. X._, né en 1966, et Dame X._, née en 1963, se sont mariés en 2003. Deux enfants sont issus de cette union: A._, né en 2002 et B._, né en 2005. B. Par jugement du 27 décembre 2010, le Tribunal civil de la Veveyse (ci-après: le Tribunal civil) a prononcé le divorce des époux, confié à la mère l'autorité parentale et la garde des enfants, astreint l'ex-mari à contribuer à l'entretien de son ex-épouse par le versement d'une pension mensuelle de 2'500 fr. jusqu'en février 2016, puis de 1'400 fr. jusqu'en février 2021, ainsi qu'à celui de ses fils, à hauteur de 1'200 fr. jusqu'à l'âge de 6 ans, de 1'300 fr. jusqu'à l'âge de 12 ans et de 1'400 fr. jusqu'à leur majorité, l'art. 277 al. 2 CC étant réservé. Le 7 février 2011, l'ex-mari a interjeté un appel contre ce jugement, tendant à la suppression de la contribution d'entretien en faveur de l'ex-épouse et à la réduction des pensions mensuelles de ses fils, en ce sens qu'elles se montent à 1'000 fr. jusqu'à l'âge de 6 ans, 1'100 fr. jusqu'à l'âge de 12 ans et 1'200 fr. ensuite. L'ex-épouse a conclu au rejet de l'appel le 25 mars 2011. B.a La Juge déléguée de la Ie Cour d'appel civil du Tribunal cantonal du canton de Fribourg (ci-après: la Juge déléguée) a rejeté, par arrêt du 14 avril 2011, une requête de l'ex-mari tendant à la suppression puis à la forte réduction de la contribution d'entretien de 3'250 fr. due à l'ex-épouse à titre provisoire, ainsi qu'une requête reconventionnelle de celle-ci. La Juge déléguée a encore rejeté, le 19 mai 2011, une requête de mesures provisionnelles complémentaires déposée par l'ex-épouse, ayant pour objet le prononcé d'un avis aux débiteurs de son ex-mari. Par arrêt du 8 septembre 2011, le Président de la Cour d'appel civil du Tribunal cantonal du canton de Fribourg a partiellement admis une nouvelle requête de l'ex-mari tendant à la réduction de la contribution d'entretien provisoire en faveur de l'ex-épouse et a fixé cette pension à 2'000 fr. par mois, dès le 1er juillet 2011. B.b Statuant le 28 novembre 2011, la Cour d'appel civil du Tribunal cantonal du canton de Fribourg (ci-après: la Cour d'appel) a partiellement admis l'appel de l'ex-mari. Elle a ainsi réformé le jugement de première instance en ce sens que la contribution d'entretien mensuelle en faveur de chacun des fils se monte à 1'220 fr. jusqu'à l'âge de 12 ans révolus, puis à 1'400 fr. jusqu'à la majorité, l'art. 277 al. 2 CC étant réservé; celle due à l'ex-épouse s'élève à 2'450 fr., dès l'entrée en vigueur du jugement jusqu'en février 2016 et à 1'400 fr. jusqu'au mois de février 2021 compris. C. Par acte du 1er février 2012, l'ex-mari (ci-après: le recourant) exerce un recours en matière civile au Tribunal fédéral. Il conclut à la réforme de l'arrêt attaqué en ce sens que l'époux contribuera à l'entretien de chacun de ses enfants par le versement d'une pension mensuelle de 1'100 fr. jusqu'à l'âge de 12 ans révolus, puis de 1'200 fr. jusqu'à la majorité, l'art. 277 al. 2 CC étant réservé, et à l'entretien de son ex-épouse par le versement d'une contribution d'entretien mensuelle de 850 fr. jusque et y compris le mois de février 2021. A l'appui de ses conclusions, il invoque l'arbitraire dans l'établissement des faits, ainsi que la violation des art. 125 et 285 CC. Invitées à se déterminer, l'intimée a conclu au rejet du recours et l'autorité précédente a déclaré ne pas avoir d'observations à formuler. 