Faits: Faits: A. X._, veuve de feu E._ décédé le 2 mars 1985, était propriétaire depuis cette date de l'ensemble du capital-actions de la société immobilière F._ (ci-après: SI F._): Cette société détenait à G._ une parcelle de 80 m2, une autre de 15'999 m2 supportant un pavillon d'été de 145 m2 et une dernière de 24'528 m2 supportant une dépendance de 44 m2 et une villa de 265 m2, habitée par les époux X._ et E._ depuis 1947. Depuis 1986, l'Administration fiscale du canton de Genève, agissant également comme Administration cantonale de l'impôt fédéral direct (ci-après: l'Administration fiscale), admettait que X._ soit imposée sur une dépense annuelle de 1'000'000 fr. Cet accord a été renouvelé pour la dernière fois pour les années 1996 à 1999. Pour la période fiscale 1995/1996, X._ a été imposée sur une dépense d'un million de francs. L'impôt fédéral direct annuel qui résultait de cette taxation s'élevait à 115'517 fr. 50. Pour la période fiscale 1995/1996, X._ a été imposée sur une dépense d'un million de francs. L'impôt fédéral direct annuel qui résultait de cette taxation s'élevait à 115'517 fr. 50. B. Dans un courrier du 6 août 1997, X._ a demandé à l'Administration fiscale de revoir le montant de la dépense imposable. Elle y indiquait avoir un train de vie considérable en raison de la très importante propriété détenue par la SI F._. Vu les frais importants qu'engendrait celle-ci, ses avoirs en liquidités ne suffisaient plus à assurer ce train de vie, ce qui l'amenait à vivre sur sa fortune. Elle avait, en outre, au décès de son mari en 1985, gratifié chacun de ses quatre enfants d'une donation de 10 millions de francs et envisageait de liquider la SI F._ afin de préparer les morcellements éventuels qui pourraient survenir après son décès. Cette opération devait entraîner un prélèvement d'impôt de 2'500'000 fr. Dans ces conditions, il fallait retenir une valeur de 1'800'000 fr. pour la villa et le terrain ainsi qu'une valeur locative de 54'000 fr. (3% de la valeur de l'ensemble), ce qui, après multiplication par cinq, portait le montant de la dépense à 270'000 fr. Le 2 septembre 1997, un nouvel accord, entré en vigueur dès 1998, pour les années 1998 à 2000, a fixé la dépense annuelle imposable pour l'impôt fédéral direct à 270'000 fr., sous réserve notamment que ce montant ne soit pas inférieur à cinq fois la valeur locative des locaux occupés comme locataire, actionnaire ou propriétaire selon les modalités d'application de l'impôt à forfait ni à celui, calculé selon le régime du droit commun qui serait dû sur les éléments de revenu énumérés à l'art. 14 al. 3 lettres a à f de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11). Le 20 janvier 1998, la SI F._ est entrée en liquidation. La valeur des immeubles qu'elle détenait a été arrêtée à 17'500'000 fr. Par acte notarié du 28 janvier 1998, ces immeubles ont été transférés à son actionnaire unique X._. Le 20 janvier 1998, la SI F._ est entrée en liquidation. La valeur des immeubles qu'elle détenait a été arrêtée à 17'500'000 fr. Par acte notarié du 28 janvier 1998, ces immeubles ont été transférés à son actionnaire unique X._. C. Par décision de taxation notifiée le 28 décembre 1998, l'Administration fiscale a arrêté le montant imposable à 1'455'800 fr. pour l'impôt fédéral direct de la période fiscale 1997/1998 et fixé l'impôt dû à 167'417 fr. pour 1997 et à un montant identique pour 1998. Le montant de la dépense correspond à 7% de la valeur comptable (4'159'455 fr.), dans le bilan de la SI F._, de l'immeuble occupé par l'intéressée multipliée par cinq. Le 2 juillet 1999, X._ a contesté cette taxation par la voie de la réclamation. Par décision du 19 novembre 2001, l'Administration fiscale a rejeté la réclamation. Le 19 décembre 2001, X._ a demandé à la Commission cantonale de recours en matière d'impôt fédéral direct (ci-après: la Commission de recours) d'annuler la taxation du 28 décembre 1998 ainsi que la décision sur réclamation rendue le 19 décembre 2001 par l'Administration fiscale et de calculer l'impôt fédéral direct sur un montant de 270'000 fr. pour l'année 1998. Par décision du 8 juin 2005, la Commission de recours a déclaré la réclamation recevable et rejeté le recours. Le 20 juillet 2005, l'hoirie de l'intéressée, décédée le 25 juillet 2002, a demandé au Tribunal administratif du canton de Genève d'annuler la taxation du 28 décembre 1998, la décision sur réclamation du 19 décembre 2001 ainsi que la décision rendue le 8 juin 2005 par la Commission de recours et de calculer l'impôt fédéral direct sur un montant de 270'000 fr. pour l'année 1998. Le 20 juillet 2005, l'hoirie de l'intéressée, décédée le 25 juillet 2002, a demandé au Tribunal administratif du canton de Genève d'annuler la taxation du 28 décembre 1998, la décision sur réclamation du 19 décembre 2001 ainsi que la décision rendue le 8 juin 2005 par la Commission de recours et de calculer l'impôt fédéral direct sur un montant de 270'000 fr. pour l'année 1998. D. Le 7 mars 2006, le Tribunal administratif a admis le recours. Il a annulé la taxation du 28 décembre 1998 en tant qu'elle concerne l'année 1998 et renvoyé le dossier à l'Administration pour nouvelle décision au sens des considérants. Il relevait que l'accord du 2 septembre 1997 fixait non seulement le montant imposable, mais aussi la valeur locative de l'intéressée. L'Administration fiscale avait violé le principe de la bonne foi en revenant sur cet accord. Pour calculer la valeur locative au sens de l'art. 1 de l'ordonnance du 15 mars 1993 sur l'imposition d'après la dépense en matière d'impôt fédéral direct (OIDIFD; RS 642.123), il fallait appliquer les critères de l'art. 21 al. 2 LIFD. En suivant les critères fixés dans le "questionnaire adressé à tous les propriétaires d'appartements et de villas" dans le but d'établir la valeur locative pour le calcul de l'impôt fédéral direct pour la période fiscale 1997/1998, l'intéressée avait démontré qu'elle obtenait une valeur locative de 43'721 fr. 80. Le fait qu'au 1er janvier 1997, les immeubles étaient encore propriété de la SI F._ n'y changeait rien, puisque l'intéressée était propriétaire de l'intégralité du capital-action de la société. L'Administration fiscale ne pouvait dès lors retenir la valeur comptable de ces immeubles. D. Le 7 mars 2006, le Tribunal administratif a admis le recours. Il a annulé la taxation du 28 décembre 1998 en tant qu'elle concerne l'année 1998 et renvoyé le dossier à l'Administration pour nouvelle décision au sens des considérants. Il relevait que l'accord du 2 septembre 1997 fixait non seulement le montant imposable, mais aussi la valeur locative de l'intéressée. L'Administration fiscale avait violé le principe de la bonne foi en revenant sur cet accord. Pour calculer la valeur locative au sens de l'art. 1 de l'ordonnance du 15 mars 1993 sur l'imposition d'après la dépense en matière d'impôt fédéral direct (OIDIFD; RS 642.123), il fallait appliquer les critères de l'art. 21 al. 2 LIFD. En suivant les critères fixés dans le "questionnaire adressé à tous les propriétaires d'appartements et de villas" dans le but d'établir la valeur locative pour le calcul de l'impôt fédéral direct pour la période fiscale 1997/1998, l'intéressée avait démontré qu'elle obtenait une valeur locative de 43'721 fr. 80. Le fait qu'au 1er janvier 1997, les immeubles étaient encore propriété de la SI F._ n'y changeait rien, puisque l'intéressée était propriétaire de l'intégralité du capital-action de la société. L'Administration fiscale ne pouvait dès lors retenir la valeur comptable de ces immeubles. E. Agissant par la voie du recours de droit administratif, l'Administration fiscale demande au Tribunal fédéral d'annuler, sous suite de frais, l'arrêt du Tribunal administratif du 7 mars 2006. Elle fait valoir une violation des art. 9 Cst. et 14 LIFD. Le Tribunal administratif renvoie aux considérants et au dispositif de son arrêt. L'Administration fédérale des contributions conclut à l'admission du recours. L'hoirie de feue X._, soit, A._, B._, C._ et D._, conclut, sous suite de frais et dépens, au rejet du recours et au renvoi de la cause à l'Administration fiscale pour nouvelle décision au sens des considérants. 