Faits : A. A.a. Par jugement du 8 février 2007 du Tribunal de première instance de Genève, le divorce des époux A._ (1966) et B._ (1967) a été prononcé, l'autorité parentale sur l'enfant du couple, C._, né le 16 mai 2000 a été attribué à l'ex-épouse, un droit de visite usuel a été réservé en faveur du père et celui-ci a été astreint à contribuer à l'entretien de son fils, de manière échelonnée par tranche d'âge, de 1'050 fr. à 1'350 fr. par mois, et à verser à son ex-épouse une contribution de 1'200 fr. par mois jusqu'au 31 mai 2010. La durée de la contribution d'entretien en faveur de l'ex-épouse a été portée au 31 mai 2016 par arrêt du 14 septembre 2007 de la Cour de justice du canton de Genève. A.b. Par jugement du 13 août 2012, le Tribunal de première instance a partiellement admis l'action en modification du jugement de divorce intentée par A._, a supprimé, avec effet au 1 er février 2012, la contribution d'entretien due à l'ex-épouse et a réduit la contribution d'entretien de l'enfant C._, à la somme de 1'200 fr. par mois, à compter du 1 er février 2012, puis à 640 fr. à compter du 1 er août 2012. Le tribunal a retenu que le débirentier s'était remarié en avril 2010, et que, de cette union étaient issues deux filles en octobre 2010 et juillet 2012. Constatant que le débirentier avait été licencié le 7 mars 2012 par la banque qui l'employait avec effet au 31 août 2012, le tribunal a considéré qu'il ne pouvait cependant être tenu compte de baisses futures et hypothétiques des revenus du débirentier à la suite de sa situation de chômage à venir, dès lors que l'action en modification du jugement de divorce devait traduire pour l'avenir des modifications de situations pérennes et que rien n'indiquait que l'ex-époux demeurerait durablement sans emploi. B. Par demande de modification du jugement de divorce du 2 janvier 2013, le débirentier a conclu à la suppression de la contribution pour l'entretien de son fils, à titre de mesures provisionnelles et sur le fond. A l'appui de sa demande, il a allégué être au chômage depuis cinq mois et n'avoir aucun revenu disponible à partager entre ses trois enfants. Il a exposé que, compte tenu de l'âge de leur fils, son ex-épouse devait prendre une activité lucrative à plein temps. L'ex-épouse a conclu au rejet de la demande. Par courrier spontané du 10 mai 2013, le débirentier a indiqué avoir entamé son neuvième mois de chômage et que ses recherches de travail s'étaient avérées infructueuses. B.a. Par jugement du 7 juin 2013, le Tribunal de première instance de Genève a débouté le débirentier de ses conclusions en modification du jugement de divorce rendu sur action en modification du jugement de divorce le 13 août 2012. En substance, le tribunal a retenu que le chômage et la situation familiale et patrimoniale du demandeur avaient déjà été prises en considération, de sorte qu'aucun changement notable et durable des circonstances ne pouvait être retenu depuis le prononcé du précédent jugement. B.b. Par arrêt du 13 décembre 2013, communiqué aux parties le 19 décembre 2013, la Chambre civile de la Cour de justice du canton de Genève a rejeté l'appel interjeté le 16 août 2013 par le débirentier tendant à la suppression, sur mesures provisionnelles et au fond, de son obligation alimentaire, et a confirmé le jugement du 7 juin 2013. C. Par acte du 28 janvier 2014, A._ exerce un "appel" au Tribunal fédéral et joint à son écriture un onglet de pièces. Il conclut à l'annulation de l'arrêt du 13 décembre 2013 et à sa réforme en ce sens que son obligation d'entretien en faveur de son fils C._ est supprimée, dès le 2 janvier 2013, à titre de mesures provisionnelles pendant la durée du procès sur le fond, mais également sur le fond, en tant qu'il invite le Tribunal fédéral à " renverser la décision de la Cour de justice " et à " donner droit à [ s ]es conclusions ". Il sollicite au préalable le bénéfice de l'assistance judiciaire pour la procédure fédérale. D. Les 9 et 28 avril 2014, le recourant a adressé au tribunal de céans deux écritures complémentaires avec des annexes, concernant principalement l'évolution de sa situation financière. Invitée à déposer une réponse sur le recours, l'intimée a conclu au rejet du recours et à la confirmation du montant de l'entretien en faveur de son fils. L'autorité précédente s'est référée aux considérants de son arrêt. 