Faits: Faits: A. X._, dont le siège social est à Z._ dans le canton de Vaud, est active dans le commerce de matériels génétiques bovins. Elle est au bénéfice d'un permis général d'importation délivré le 10 janvier 2001 par l'Office fédéral de l'agriculture (ci-après: l'Office fédéral). Le 10 mai 2001, l'Office fédéral lui a octroyé une autorisation pour la récolte, le stockage et la distribution de semence de taureaux. Cette autorisation était primitivement limitée au 30 juin 2002 et assortie de conditions ainsi que de charges. Le 9 octobre 2002, l'Office fédéral a fait savoir qu'il ne pouvait pas la renouveler, parce que certains documents requis n'avaient pas été produits. Par décision du 13 décembre 2002, l'Office fédéral a retiré le permis général d'importation de X._ et l'a fait bloquer auprès de la Direction générale des douanes. Il a également interdit à X._ de commercialiser directement de la semence de taureaux, sans passer par l'intermédiaire des organisations d'insémination artificielle autorisées. Il a fait valoir que la commercialisation directe de semence de taureaux pratiquée sans autorisation par X._ était illégale et qu'à défaut d'autorisation délivrée en application de l'ordonnance du 7 décembre 1998 sur l'élevage (ci-après: l'Ordonnance; RS 916.310), cette commercialisation devait s'opérer par le biais d'une organisation d'insémination artificielle reconnue. Par décision du 13 décembre 2002, l'Office fédéral a retiré le permis général d'importation de X._ et l'a fait bloquer auprès de la Direction générale des douanes. Il a également interdit à X._ de commercialiser directement de la semence de taureaux, sans passer par l'intermédiaire des organisations d'insémination artificielle autorisées. Il a fait valoir que la commercialisation directe de semence de taureaux pratiquée sans autorisation par X._ était illégale et qu'à défaut d'autorisation délivrée en application de l'ordonnance du 7 décembre 1998 sur l'élevage (ci-après: l'Ordonnance; RS 916.310), cette commercialisation devait s'opérer par le biais d'une organisation d'insémination artificielle reconnue. B. Saisie d'un recours, la Commission de recours du Département fédéral de l'économie (ci-après: la Commission fédérale de recours), statuant le 15 juin 2004, l'a admis et a annulé la décision de l'Office fédéral du 13 décembre 2002. Elle a retenu en substance que l'activité de X._, soit la commercialisation directe de semence de taureaux, n'était soumise à autorisation ni par la loi fédérale du 29 avril 1998 sur l'agriculture (loi sur l'agriculture; LAgr; RS 910.1) ni par l'Ordonnance. En outre, l'interdiction notifiée à X._ ne pouvait pas se fonder sur l'application analogique de l'art. 25 al. 2 de l'Ordonnance relatif à l'attribution des parts de contingent tarifaire et constituait, à défaut de base légale explicite, une atteinte importante à l'exercice de la liberté économique de X._ garantie par l'art. 27 Cst. Par ailleurs, dès lors que X._ n'avait violé ni la loi sur l'agriculture ni ses dispositions d'exécution, l'Office fédéral lui avait retiré à tort le permis général d'importation. B. Saisie d'un recours, la Commission de recours du Département fédéral de l'économie (ci-après: la Commission fédérale de recours), statuant le 15 juin 2004, l'a admis et a annulé la décision de l'Office fédéral du 13 décembre 2002. Elle a retenu en substance que l'activité de X._, soit la commercialisation directe de semence de taureaux, n'était soumise à autorisation ni par la loi fédérale du 29 avril 1998 sur l'agriculture (loi sur l'agriculture; LAgr; RS 910.1) ni par l'Ordonnance. En outre, l'interdiction notifiée à X._ ne pouvait pas se fonder sur l'application analogique de l'art. 25 al. 2 de l'Ordonnance relatif à l'attribution des parts de contingent tarifaire et constituait, à défaut de base légale explicite, une atteinte importante à l'exercice de la liberté économique de X._ garantie par l'art. 27 Cst. Par ailleurs, dès lors que X._ n'avait violé ni la loi sur l'agriculture ni ses dispositions d'exécution, l'Office fédéral lui avait retiré à tort le permis général d'importation. C. Agissant par la voie du recours de droit administratif, le Département fédéral de l'économie demande au Tribunal fédéral, avec suite de frais, d'annuler la décision de la Commission fédérale de recours du 15 juin 2004 et de confirmer celle de l'Office fédéral du "4" (en réalité 13) décembre 2002. Il fait valoir, pour l'essentiel, que l'art. 145 LAgr consacre la volonté du législateur de promouvoir l'élevage bovin indigène et que l'Ordonnance concrétise cette intention en soumettant la commercialisation de semence de taureaux à autorisation et en réservant aux seules organisations d'insémination artificielle la possibilité de la récolter, de la stocker et de la commercialiser. En outre, les restrictions apportées à la liberté économique de X._ seraient justifiées par la promotion d'un élevage indigène de qualité. La Commission fédérale de recours se réfère aux motifs de la décision attaquée et renonce à se prononcer sur le recours. X._ conclut, avec suite de dépens, au rejet du recours. 