Faits: A. Le divorce des époux A._, a été prononcé par jugement du Tribunal de première instance du canton de Genève (ci-après Tribunal de première instance) du 9 mars 2011. B. B.a Le 14 avril 2011, Mme B.A._ a interjeté appel contre ce jugement par-devant la Cour de justice du canton de Genève (ci-après Cour de justice), remettant notamment en cause le montant des contributions qui lui ont été allouées pour son propre entretien, ainsi que celui de son fils. B.b Le 19 août 2011, M. A.A._ a répondu à l'appel interjeté par son ex-épouse, concluant à son rejet, et formé un appel joint pour contester le montant de la contribution d'entretien due à son fils, l'avis aux débiteurs ordonné par le premier juge selon l'art. 291 CC, ainsi que le montant arrêté par le Tribunal de première instance au titre d'avoirs de prévoyance professionnelle accumulés pendant la durée du mariage. B.c Par courrier du 13 décembre 2011, la Cour de justice a communiqué à M. A.A._ la réponse à son appel joint, ainsi que les pièces produites par son ex-épouse, tout en indiquant que la cause était mise en délibération et qu'une décision serait rendue ultérieurement. B.d Par "arrêt" préparatoire du 7 mars 2012, la Cour de justice a, dans une décision motivée, invité la caisse de prévoyance professionnelle de l'époux à fournir tout renseignement et document concernant les avoirs de prévoyance professionnelle accumulés par lui durant le mariage, soit du 26 mai 2000 au 22 août 2011. B.e Par lettre du 28 mars 2012, Mme B.A._ a retiré son appel, déclarant préférer abandonner certaines prétentions afin de mettre fin à cette procédure qui dure depuis plusieurs années. B.f Par décision du 15 mai 2012, la Cour de justice a pris acte du retrait de l'appel, déclaré par conséquent l'appel joint formé par M. A.A._ caduc, rayé la cause du rôle et statué sur les frais de la procédure. C. Le 13 juin 2012, M. A.A._ forme un recours en matière civile auprès du Tribunal fédéral contre cette décision. Il conclut à ce que l'arrêt entrepris soit annulé et la cause renvoyée à l'autorité précédente pour qu'elle statue sur son appel joint. A l'appui de ses conclusions, le recourant invoque la violation de l'art. 313 CPC. Il sollicite en outre l'octroi de l'assistance judiciaire. L'intimée n'a pas été invitée à répondre. 