Faits: A. A.a A._, né en 1949, et dame A._, née en 1950, se sont mariés le 16 février 1973 à Genève. Deux enfants, aujourd'hui majeurs, sont issus de cette union. Les époux se sont séparés le 1er septembre 1995. Par jugement du 12 juin 2003, le Tribunal de première instance de Genève a prononcé le divorce des conjoints et donné acte au mari de son engagement de verser à l'épouse une contribution d'entretien mensuelle de 4'000 fr. jusqu'au mois d'avril 2014 compris. A.b Le 20 décembre 2003, A._ a épousé B._, née en 1971. Ils ont eu deux enfants: C._, né en 2003, et D._, né en 2006. B. B.a Le 22 mai 2008, A._ a sollicité la modification du jugement de divorce, concluant à ce que la contribution d'entretien soit réduite à 1'000 fr. par mois dès le 1er avril 2008. A l'appui de ses conclusions, il a invoqué sa mise à la retraite anticipée au 31 mars 2008 en raison d'une restructuration de la société qui l'employait, son remariage et la naissance de ses deux enfants. Par jugement du 26 mai 2009, le Tribunal de première instance a réduit le montant de la pension après divorce à 3'000 fr. par mois. En substance, il a retenu que le débirentier avait délibérément renoncé à obtenir des ressources plus importantes en louant sa villa à sa fille pour un prix de faveur de 900 fr., alors qu'il aurait pu en retirer 3'500 fr. par mois. Par ailleurs, sa nouvelle épouse étant titulaire d'un diplôme de fin d'études de l'Ecole de culture générale, elle pouvait réaliser un salaire afin de subvenir en partie à l'entretien de ses enfants. Quant à dame A._, il a considéré qu'elle aurait dû, pour sa part, conserver son emploi de téléphoniste-réceptionniste pour maintenir son train de vie. B.b Les deux parties ont formé un appel devant la Cour de justice du canton de Genève. A._ a conclu à ce que la contribution d'entretien soit réduite à 1'000 fr. par mois dès le 1er avril 2008. Dame A._ a conclu au maintien de la contribution d'entretien à 4'000 fr. telle que prévue dans le jugement de divorce. Par arrêt du 12 mars 2010, la cour cantonale a réduit la contribution d'entretien à 1'500 fr. par mois, dès l'entrée en force de son arrêt et jusqu'au 30 avril 2014. B.c Chacune des parties a exercé un recours en matière civile contre l'arrêt du 12 mars 2010. Dame A._ a conclu à la confirmation du jugement de première instance rendu le 26 mai 2009 fixant la pension à 3'000 fr. A._ a conclu à ce que le montant de la contribution d'entretien soit fixé à 1'000 fr. par mois, du 22 mai 2008 jusqu'au mois d'avril 2014. Par arrêt du 28 octobre 2010 (5A_290/2010), le Tribunal fédéral a partiellement admis les recours, annulé l'arrêt attaqué et renvoyé la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants. En bref, il a considéré que l'instance cantonale avait violé le droit fédéral en imputant un revenu hypothétique de 2'847 fr. à la recourante, d'une part, et de 1'196 fr. à l'épouse du recourant, d'autre part. C. Dans le cadre de ce renvoi devant l'autorité cantonale, A._ a conclu à la réduction de la contribution d'entretien en faveur de dame A._ à 1'000 fr. par mois dès le 22 mai 2008 jusqu'au mois d'avril 2014. Dame A._ a conclu à l'annulation du jugement entrepris, en tant qu'il réduit à 3'000 fr. par mois le montant de la contribution d'entretien, et à la confirmation du jugement de divorce du 12 juin 2003 fixant la pension à 4'000 fr. Statuant le 17 juin 2011, la Cour de justice a annulé le jugement de première instance du 26 mai 2009. Elle a réduit la contribution d'entretien due par A._ pour l'entretien de dame A._ à 3'500 fr. par mois, du 22 mai 2008 jusqu'au 30 avril 2014. Pour fixer la contribution d'entretien précitée, la cour a notamment retenu qu'en 2005, A._ avait acquis par succession la propriété, non hypothéquée, d'une parcelle de 2'578 m2 à Y._, sur laquelle était érigée une villa de 115 m2 qu'il louait à sa fille pour un prix de faveur de 900 fr. par mois, lui-même occupant avec sa famille l'ancienne villa conjugale, dont il était devenu seul propriétaire après le divorce. Selon la cour, pour faire face à ses obligations d'entretien envers dame A._, A._ devait grever cette villa d'une hypothèque et obtenir ainsi un emprunt de 200'000 fr., le loyer de 10'800 fr. par an (12 x 900 fr.) lui permettant de payer les intérêts et l'amortissement usuels d'un tel emprunt, totalisant 5% du capital par année. Réparti du 22 mai 2008 au 30 avril 2014, soit sur 72 mois, le capital de 200'000 fr. lui permettait d'obtenir un montant net de 1'880 fr. par mois (2'777 fr. 77 - 900 fr.), en sus de ses revenus. D. A._ (ci-après: le recourant) exerce un recours en matière civile contre cet arrêt. Principalement, il conclut à sa réforme en ce sens que la contribution d'entretien due à dame A._ (ci-après: l'intimée) soit réduite à 1'000 fr. par mois dès le 22 mai 2008 jusqu'au mois d'avril 2014 y compris; subsidiairement, il conclut au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. En substance, il invoque la violation du principe de l'autorité de l'arrêt de renvoi, des art. 9 (arbitraire dans l'application du droit de procédure cantonal et dans l'appréciation des preuves) et 29 al. 2 Cst., 8 et 129 CC. Invitées à déposer leurs observations, l'intimée a conclu au rejet du recours et l'autorité cantonale s'est référée aux considérants de l'arrêt attaqué. E. Par ordonnance présidentielle du 13 septembre 2011, l'effet suspensif au recours a été refusé. 