Faits: A. Les frères A.X._, B.X._, C.X._ et D.X._ sont copropriétaires à ... (canton de Genève) de la parcelle n° xxxx, d'une superficie de 16'179 m2 et comportant plusieurs bâtiments. Au mois de septembre 2000, alors que l'immeuble précité était géré par C.X._, une partie des locaux situés sur celui-ci, dont un atelier de 1'000 m2 et un dépôt de 350 m2 environ, ont été mis, sans contrepartie, à la disposition de la société Y._ SA, dont C.X._ est administrateur. B. Le 4 avril 2001, F._ a requis une poursuite en réalisation de gage immobilier, fondée sur trois cédules hypothécaires d'un capital total de 550'000 fr., contre les copropriétaires de la parcelle précitée en tant que débiteurs solidaires. Dans le cadre de ces poursuites, il a été demandé l'extension de celles-ci aux loyers et fermages. Entre le 23 avril et le 11 mai 2001, il a été notifié à chacun des copropriétaires le commandement de payer le concernant. Les oppositions formées par trois des copropriétaires ont été levées provisoirement les 25 juin et 6 août 2001. Chaque débiteur n'étant que l'un des quatre copropriétaires de l'immeuble gagé, l'office des poursuites a fait notifier à chaque copropriétaire, entre le 11 mars et le 8 mai 2003, un exemplaire des commandements de payer concernant les trois autres copropriétaires. Le 29 janvier 2004, F._ a formulé une réquisition de vente dans le cadre de la poursuite dirigée contre B.X._, pris conjointement et solidairement avec ses frères. C. Dans le cadre des quatre poursuites intentées en 2001, l'office des poursuites a chargé le 21 mai 2001 l'agence immobilière G._ SA de pourvoir à l'encaissement des loyers pour le compte de l'office. Le même jour, il a été adressé à C.X._, gérant de l'immeuble et administrateur de Y._ SA, l'avis aux locataires et fermiers de s'acquitter jusqu'à nouvel ordre des loyers en mains de l'office, soit pour lui l'agence susmentionnée. Le 1er juin 2001, l'agence gérante a invité Y._ SA à lui faire parvenir tous les documents relatifs au contrat de bail liant cette société aux copropriétaires de l'immeuble. Le 27 juillet 2001, l'agence gérante a invité Y._ SA à signer un contrat de bail relatif à l'atelier, qui prévoyait un loyer mensuel de 6'666 fr. et une garantie de loyer de 20'000 fr., ainsi qu'un contrat de bail relatif au dépôt, qui prévoyait un loyer mensuel de 1'458 fr. et une garantie de loyer de 4'350 fr. Étant sans nouvelles de Y._ SA, l'agence l'a relancée par courrier du 15 octobre 2001. D. Par demande du 17 janvier 2002, l'État de Genève, représenté par l'office des poursuites, a sollicité l'évacuation de Y._ SA des locaux que celle-ci occupait dans l'immeuble gagé. Il a en outre conclu au paiement par Y._ SA d'une indemnité pour occupation illicite des locaux atteignant 56'868 fr. pour la période allant du 1er juin 2001 au 31 décembre 2001, puis mensuellement 8'124 fr. dès le 1er janvier 2002. La défenderesse a conclu principalement à l'irrecevabilité de la demande et subsidiairement à son rejet. Par jugement du 29 octobre 2002, le Tribunal de première instance du canton de Genève a déclaré irrecevable la demande formée par l'État de Genève. En substance, il a retenu que, comme il n'existait pas de contrat de bail entre la défenderesse et les copropriétaires de l'immeuble gagé, il n'y avait pas matière à gérance légale. Par arrêt rendu le 16 mai 2003 sur appel de l'État de Genève, la Cour de justice a annulé ce jugement. Elle a rectifié la qualité de la partie demanderesse en ce sens qu'il s'agissait des consorts X._, représentés légalement par l'État de Genève, a déclaré la demande recevable et a renvoyé la cause au Tribunal de première instance pour instruction et nouvelle décision. En résumé, elle a considéré que les consorts X._ avaient conservé la légitimation active, mais que l'État de Genève était habilité à procéder à leur place pour disposer seul de la "Prozessführungsbefugnis". Elle a par ailleurs retenu que l'office des poursuites pouvait dénoncer les accords que le débiteur aurait déjà conclus et qui ne seraient pas appropriés sur le plan économique. E. La cause ayant été appointée de nouveau devant le Tribunal de première instance, les consorts X._, représentés légalement par l'État de Genève, ont demandé qu'un jugement sur partie soit rendu, en ce sens que la défenderesse soit condamnée à évacuer immédiatement les locaux qu'elle occupait dans l'immeuble gagé et qu'il soit statué ultérieurement sur les conclusions en paiement. Par jugement du 6 novembre 2003, le Tribunal de première instance a condamné la défenderesse à évacuer immédiatement les locaux en question, a mis les dépens à la charge de la défenderesse et a réservé la suite de la procédure. F. Par arrêt rendu le 14 mai 2004 sur appel de la défenderesse, la Chambre civile de la Cour de justice du canton de Genève a confirmé le jugement de première instance, avec suite de dépens. La motivation de cet arrêt, dans ce qu'elle a d'utile à retenir pour l'examen du recours, est en substance la suivante : F.a L'art. 94 ORFI, comme l'indique son libellé, ne renferme pas une liste exhaustive des mesures à prendre à la suite de la saisie d'un immeuble, s'agissant d'exemples. Il faut dès lors considérer que cette disposition s'applique aussi dans les cas où le tiers qui occupe l'immeuble n'est pas au bénéfice d'un bail, mais seulement d'un prêt concédé à titre gratuit. En effet, l'art. 94 ORFI vise à éviter que les prétentions du créancier soient compromises par des actes commis par le débiteur et tendant à opérer des résiliations ou à conclure de nouveaux baux, mesures qui seraient injustifiées économiquement (cf. ATF 109 III 45 consid. 1c). Dans cette perspective, il faut donc considérer que l'office des poursuites peut, dans le cadre d'une saine gestion, dénoncer les accords - peu importe qu'il s'agisse de contrats de bail ou de prêt à usage - inappropriés sur le plan économique que le débiteur a déjà conclus avec des tiers, et requérir l'expulsion desdits tiers. Il s'ensuit que les consorts X._, par l'entremise de l'État de Genève, pouvaient intenter action en revendication contre Y._ SA sur la base de l'art. 94 ORFI. F.b En l'espèce, la défenderesse était tout au plus au bénéfice d'un contrat de prêt à usage, au sens des art. 305 à 311 CO, conclu avec C.X._, l'un des quatre copropriétaires, les autres paraissant d'ailleurs s'être accommodés des mesures ainsi prises par celui-ci. Comme il n'a pas été prétendu que ce prêt aurait été convenu pour une durée indéterminée ou en fonction d'un usage précis, le prêteur - soit les consorts X._ - était libre, selon l'art. 310 CO, de réclamer en tout temps la restitution de la chose prêtée. En l'occurrence, il faut considérer que la demande déposée le 17 janvier 2002 tendant à l'évacuation de Y._ SA emportait la dénonciation du prêt, et que la défenderesse avait bénéficié d'un délai suffisamment long jusqu'au 3 octobre 2003, date du dépôt des dernières conclusions prises par les parties en première instance. Le jugement querellé devait donc être confirmé avec suite de dépens. G. Agissant par la voie du recours en réforme au Tribunal fédéral, la défenderesse conclut avec suite de dépens à la réforme de cet arrêt en ce sens que les demandeurs soient déboutés de toutes leurs conclusions. Les demandeurs concluent avec suite de dépens au rejet du recours. 