Faits: A. A.a Par contrat de bail à loyer du 18 novembre 1997, la Caisse de prévoyance Y._ (ci-après: la Caisse de prévoyance ou la bailleresse) a remis à bail aux époux H.A._ et F.A._ (ci-après: les locataires), avec effet au 1er décembre 1997, un appartement de cinq pièces au 4ème étage d'un immeuble sis à ..., ainsi qu'une cave au sous-sol de cet immeuble. Le loyer mensuel, provision pour charges incluse, a été fixé en dernier lieu à 1'833 fr. En dépit d'une interdiction de le faire figurant dans ledit contrat, les locataires ont sous-loué l'appartement et la cave en question aux époux H.X._ et F.X._ (ci-après: les sous-locataires) dès le 15 avril 2008. Par courrier du 13 janvier 2010, B._, mandataire de H.X._, a informé la Régie C._ SA (ci-après: la régie), représentante de la Caisse de prévoyance, de cette sous-location, en la priant de bien vouloir accepter la candidature de son mandant lorsque l'appartement deviendrait "juridiquement libre". La régie lui a répondu, le 29 avril 2010, que la bailleresse n'avait aucune obligation à l'égard du prénommé, lequel était, dès lors, invité à effectuer toutes démarches utiles en vue de son relogement, afin que les locaux occupés par lui puissent être restitués dans les meilleurs délais, faute de quoi il s'exposerait à une action en revendication. A.b Entre-temps, par lettres recommandées du 11 mars 2010, la régie avait mis les locataires en demeure de verser les loyers de février et mars 2010. Cette sommation étant demeurée vaine, le bail principal a été résilié, par avis du 22 juillet 2010, pour le 31 août 2010. Il l'a été une seconde fois, à titre subsidiaire, le 5 mai 2010, avec effet au 31 décembre 2010, en raison de la violation de l'interdiction de sous-louer stipulée dans le contrat. A.c Par courriers des 15 et 23 juillet 2010, B._ a transmis à la régie un formulaire d'inscription relatif à l'appartement précité, ainsi que diverses pièces concernant la situation financière des époux X._, en lui demandant d'intervenir auprès de la bailleresse en faveur de ceux-ci pour qu'ils obtinssent un bail à leur nom. Le 20 septembre 2010, la Caisse de prévoyance a fait savoir à H.X._ qu'il ne lui était pas possible d'accéder à sa demande de location de l'appartement qu'il occupait. Le lendemain, la régie a informé B._ de la décision de la bailleresse. Elle lui a rappelé que, depuis la résiliation du bail principal, les locaux étaient occupés de manière illicite par les époux X._. Ceux-ci devaient, dès lors, quitter les lieux au plus vite. La régie indiquait encore que, sans réponse avant le 30 septembre 2010, une action en revendication leur serait intentée. Dans une lettre du 24 septembre 2010, B._ a indiqué à la régie que les époux X._ ne souhaitaient pas "s'incruster dans un logement où le propriétaire refus[ait] la conclusion d'un bail" et qu'ils libéreraient immédiatement l'appartement s'ils trouvaient un logement. Le 4 octobre 2010, la régie a transmis à B._ des bulletins de versement, avec la mention "occupation illicite", pour les mois d'octobre et décembre 2010, en précisant que "cela ne [valait] nullement reconnaissance de l'attribution du logement à [ses] clients". B. B.a En date du 26 novembre 2010, la Caisse de prévoyance a introduit une action en revendication, au sens de l'art. 641 al. 2 CC, contre H.X._ et F.X._ afin de les contraindre à évacuer l'appartement occupé par eux. Elle a également réclamé le paiement d'un montant de 7'401 fr., arrêté finalement à 8'244 fr. 15, intérêts en sus, à titre d'arriéré de loyers et de provisions pour charges jusqu'au 31 août 2010, d'une part, et d'indemnités pour occupation illicite dès le 1er septembre 2010, d'autre part. Les défendeurs ont conclu à l'irrecevabilité de la demande pour cause de litispendance. A l'appui de cette exception, ils ont invoqué diverses procédures les opposant aux locataires principaux, ainsi qu'une requête, adressée par eux le 24 mai 2011 à la Commission de conciliation en matière de baux et loyers du canton de Genève et ayant pour objet la constatation de la conclusion tacite d'un contrat de bail à loyer entre la Caisse de prévoyance et eux-mêmes. Par jugement du 7 septembre 2011, le Tribunal de première instance du canton de Genève a condamné les défendeurs à libérer l'appartement et la cave occupés par eux (ch. 1 du dispositif) et à payer à la demanderesse la somme de 69 fr. avec intérêts à 5% dès le 1er septembre 2010 (ch. 2 du dispositif). Il a considéré que, dans la mesure où le bail principal avait été valablement résilié pour le 31 août 2010, la demanderesse était fondée à en revendiquer l'objet. Quant aux indemnités pour occupation illicite courant dès le 1er septembre 2010, il a constaté qu'elles avaient été régulièrement versées, sous réserve d'un montant de 69 fr. S'agissant des arriérés de loyer pour la période antérieure au 31 août 2010, le premier juge a rappelé que seuls les locataires principaux en étaient tenus, si bien qu'il a rejeté la prétention élevée contre les défendeurs de ce chef. B.b Saisie d'un appel des époux X._ portant uniquement sur le chiffre 1 du dispositif du jugement de première instance, la Chambre civile de la Cour de justice, statuant par arrêt du 24 février 2012, a confirmé ce point du dispositif du jugement entrepris. C. Le 2 avril 2012, H.X._ et F.X._ (ci-après: les recourants), agissant seuls, ont adressé au Tribunal fédéral une écriture intitulée "Recours de droit public". Ils y ont pris des conclusions tendant, en substance, à l'annulation de l'arrêt cantonal, à la constatation que les parties sont liées par un bail tacite et au rejet de l'action en revendication. Par lettre du 13 avril 2012, les recourants ont requis leur mise au bénéfice de l'assistance judiciaire gratuite. La demanderesse (ci-après: l'intimée) et la cour cantonale, qui a produit son dossier, n'ont pas été invitées à déposer une réponse. 