Faits: Faits: A. A.a G._, né en 1928, est rentier de l'AVS. Depuis le 1er juillet 1997, il bénéficie de prestations complémentaires à l'AVS fédérales et cantonales, ainsi que de subsides à l'assurance-maladie (couverture intégrale des cotisations). Par deux décisions du 11 avril 2001, l'Office cantonal des personnes âgées du canton de Genève (OCPA) a fixé le montant de la prestation complémentaire de l'assuré, selon la LPC, à 7'528 fr. par an (pro rata temporis) à partir du 1er mars 2001. Dans son calcul, l'OCPA a tenu compte des besoins vitaux (16'880 fr.), du loyer (13'200 fr., l'assuré ayant déclaré qu'il occupait seul le logement), de la rente AVS (10'536 fr.) et de rentes diverses de l'assuré (12'016 fr.). Cette prestation complémentaire a été maintenue à 7'528 fr. par an sur des bases inchangées à partir du 1er janvier 2002, selon décision de l'OCPA du 3 janvier 2002. Dès le 1er janvier 2003, par décision du 2 janvier 2003, l'OCPA a porté la prestation selon la LPC à 7'696 fr. par an, après avoir adapté les montants des besoins vitaux (17'300 fr.) et la rente AVS (10'788 fr.), tandis que les sommes prises en compte à titre du loyer (13'200 fr.) et des rentes diverses (12'016 fr.) sont restées inchangés. A.b Postérieurement à ces décisions, deux faits ont été portés à la connaissance de l'administration. D'une part, le 25 avril 2003, l'Office cantonal de la population du canton de Genève a attesté que dame C._, qui résidait dans le canton de Genève depuis le 26 avril 1990, avait alors son domicile chez G._. D'autre part, le divorce de ce dernier d'avec son épouse a été prononcé (la date ne ressort pas des pièces du dossier). Ces faits ont conduit l'OCPA, par quatre décisions du 5 juin 2003 (n° W._ à Z._), à reconsidérer le montant des prestations complémentaires. En ce qui concerne les prestations ressortissant à la LPC, l'administration a établi un nouveau calcul qui tenait désormais compte d'une rente AVS de 12'588 fr., du 1er octobre 2001 au 31 décembre 2002, puis de 12'888 fr. à partir du 1er janvier 2003, ainsi que d'un loyer de 7'800 fr. dès le 1er avril 2003. Les autres postes du calcul, soit les besoins vitaux et les rentes diverses, sont restés inchangés. En conséquence, l'OCPA a fixé la prestation complémentaire selon la LPC à 5'476 fr. par an (pro rata temporis) à partir du 1er octobre 2001 (décisions n° W._ et X._), à 5'596 fr. par an depuis le 1er janvier 2003 (décision n° Y._), puis à 196 fr. par an (pro rata temporis) à dater du 1er avril 2003 (décision n° Z._). Il a également arrêté la somme à restituer à titre de prestations versées en trop, soit 4'965 fr., prestations complémentaires fédérales et cantonales confondues. A.c Par lettre du 20 juin 2003, complétée le 14 juillet suivant, G._ a déclaré former opposition partielle à l'encontre de certaines décisions du 5 juin 2003, sans préciser lesquelles. Il a contesté le principe de la réduction du montant pris en compte à titre du loyer à 7'800 fr. par an, pour le seul motif qu'il faisait ménage commun avec sa fiancée. A l'appui de ses conclusions, l'assuré a allégué que sa fiancée ne participait aucunement aux charges du ménage, car elle était privée de moyens d'existence. Par ailleurs, G._ a demandé la remise totale de son obligation de restituer les sommes réclamées, pour le cas où les demandes de restitution devraient s'avérer fondées. L'OCPA a accusé réception de cette requête portant sur sa créance de 4'965 fr., par lettre du 16 juillet 2003. A.d L'OCPA a constaté qu'il ne disposait toujours pas des justificatifs des autres rentes de l'assuré (étrangères et LPP). Il s'est également référé à l'écriture du 14 juillet 2003, dans laquelle l'assuré indiquait que C._ vivait chez lui depuis juillet 2002. Aussi, par décision sur opposition du 20 octobre 2003, l'OCPA a-t-il confirmé la prise en compte d'un loyer proportionnel de 7'800 fr. (soit la moitié du loyer total de 15'600 fr.) à partir du 1er avril 2003 dans le calcul des prestations complémentaires de l'assuré, sans égard à l'état d'indigence de C._, car les fiancés faisaient ménage commun dans l'appartement de l'assuré. L'OCPA a décidé de retourner le dossier à sa division des prestations pour mise à jour et nouveaux calculs; il conviendrait notamment de tenir compte du fait que la prénommée vivait déjà chez l'assuré depuis juillet 2002. Quant à la demande portant sur la remise de restituer la somme de 4'965 fr., l'OCPA l'a jugé prématurée, dès lors qu'un nouveau calcul des prestations complémentaires devrait être effectué à la lumière des faits évoqués dans la lettre du 14 juillet 2003. L'OCPA a néanmoins précisé que l'assuré conservait la faculté de présenter une autre demande de remise, une fois que le nouveau calcul des prestations serait effectué. Quant à la demande portant sur la remise de restituer la somme de 4'965 fr., l'OCPA l'a jugé prématurée, dès lors qu'un nouveau calcul des prestations complémentaires devrait être effectué à la lumière des faits évoqués dans la lettre du 14 juillet 2003. L'OCPA a néanmoins précisé que l'assuré conservait la faculté de présenter une autre demande de remise, une fois que le nouveau calcul des prestations serait effectué. B. G._ a déféré cette décision au Tribunal des assurances sociales du canton de Genève en concluant à son annulation. Derechef, il a contesté la prise en compte d'un loyer proportionnel dans le calcul de ses prestations complémentaires, alléguant que sa fiancée disposait de son propre logement et qu'elle ne participait pas au financement du sien. Par jugement du 20 avril 2004, la juridiction cantonale a rejeté le recours. Par jugement du 20 avril 2004, la juridiction cantonale a rejeté le recours. C. G._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, avec suite de dépens. Il conclut à ce que la décision sur opposition du 20 octobre 2003 soit annulée aussi bien dans la mesure où elle confirme les décisions du 5 juin 2003 que dans la mesure où elle porte sur la demande de remise de l'obligation de restituer. Par ailleurs, le recourant invite le Tribunal fédéral des assurances à dire que la prise en compte du loyer proportionnel ne se justifie pas, tout en concluant à ce que l'intimé soit débouté de ses conclusions. Il sollicite le bénéfice de l'assistance judiciaire pour la procédure fédérale. L'intimé conclut au rejet du recours. Par ailleurs, il informe le Tribunal qu'il a rendu une nouvelle décision sur la prestation complémentaire du recourant, le 21 avril 2005, car ce dernier a épousé C._ le 5 janvier 2005. L'Office fédéral des assurances sociales a renoncé à se déterminer. 