Faits: A. Les époux A.X._ et B.X._ (ci-après: les contribuables ou les intimés) ont été pendant plusieurs années actionnaires (ils possédaient 20 actions) de la société anonyme Y._ SA (ci-après: la Société), sise à Z._, dont le capital-actions était divisé en 100 actions d'une valeur nominale de 1'000 fr. A.X._ a également été administrateur de la Société et son épouse y a travaillé comme assistante de direction. Dans leur déclaration fiscale pour la période 2004, remplie le 8 juillet 2005, les époux X._ ont indiqué sous la rubrique des revenus des placements privés un dividende distribué par la Société d'un montant de 20'000 fr. Le 29 juillet 2005, les contribuables ont demandé le remboursement de l'impôt anticipé perçu sur ce dividende. Le 4 août 2005, le Service cantonal des contributions du canton de Fribourg, Secteur impôt anticipé, leur a répondu que ce dividende devait être déclaré pour la période fiscale 2005, du moment qu'il avait été versé le 22 février 2005 seulement. Il les a en outre informés de ce que l'impôt anticipé retenu sur ce dividende ne serait remboursé "que lors du décompte cantonal 2006". Pour la période fiscale 2005, les époux X._ ont déclaré le 25 juillet 2006 un dividende versé par la Société d'un montant de 20'000 fr., en laissant toutefois la rubrique "impôt anticipé" vide. Le 7 septembre 2006, A.X._ a adressé au Service cantonal des contributions, Secteur impôt anticipé, un courrier ayant la teneur suivante: "Comme actionnaires de la société Y._ SA nous avons reçu, moi et mon épouse, un dividende du même montant, c.-à-d. 20'000 fr. en 2005 et en 2006, pour les exercices 2003 et 2004. Par conséquent nous avons un montant de 14'000 fr. (35%) impôt anticipé retenu. Nous vous prions de vérifier si en ce moment nous ne pouvons pas disposer d'une partie de ce montant étant donné que notre revenu en 2005 n'a pas évolué d'une façon considérable. [...]". Par décision du 18 septembre 2006, le Service cantonal des contributions a admis à concurrence de 7'001 fr. 15 la demande de remboursement de l'impôt anticipé retenu sur les rendements échus en 2005, en précisant que ce montant serait porté en déduction "dans le décompte fixant le solde de l'impôt de 2006". Dans l'avis de taxation des contribuables daté du 19 octobre 2006, le dividende échu en 2005 figure comme revenu de la fortune pour cette période. Dans leur déclaration fiscale pour la période 2006, datée du 27 juillet 2007, les époux X._ ont mentionné les 20 actions de la Société, mais pas le dividende versé par celle-ci en 2006 pour l'exercice 2004. Dans sa décision de taxation du 18 octobre 2007, le Service cantonal des contributions a rajouté aux revenus des contribuables le dividende de 20'000 fr. échu en 2006. En effet, il ressortait du formulaire 103 de l'Administration fédérale des contributions, que A.X._ avait rempli le 3 février 2006 au nom de la Société, que l'assemblée générale de celle-ci avait approuvé le 23 janvier 2006 les comptes de l'exercice 2004 et versé à l'ensemble des actionnaires un montant global de 100'000 fr. Le 21 août 2008, le Service cantonal des contributions a adressé aux époux X._ un décompte relatif à l'impôt cantonal 2007, dans lequel figurait l'impôt anticipé 2006. Ce dernier ne comprenait pas le montant retenu sur le dividende distribué par la Société en 2006. A l'encontre de ce décompte, les époux X._ ont formé, le 19 septembre 2008, une "réclamation", en demandant en substance l'imputation de l'impôt anticipé perçu sur le dividende précité. Le 15 octobre 2008, le Service cantonal des contributions a rendu une décision par laquelle il a confirmé que l'impôt anticipé à rembourser pour les rendements échus en 2006 se montait à 0 fr. 35 et ne comprenait donc pas le montant de 7'001 fr. 15 retenu sur le dividende distribué par la Société en 2006 pour l'exercice 2004. B. Sur réclamation des contribuables, cette décision a été confirmée dans un prononcé du 16 mars 2009, à l'encontre duquel les époux X._ ont recouru à la Cour fiscale du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal). Par arrêt du 10 décembre 2010, le Tribunal cantonal a admis le recours. Il a considéré que les époux X._ n'avaient indiqué le dividende distribué en 2006 ni dans leur déclaration d'impôt du 27 juillet 2007 pour la période 2006, ni ultérieurement. Par conséquent, ce revenu n'avait pas été déclaré régulièrement et les contribuables avaient fait preuve de négligence à cet égard. Toutefois, l'autorité fiscale avait eu connaissance de l'existence du dividende en question par le courrier des contribuables du 7 septembre 2006. En outre, ceux-ci avaient régulièrement indiqué aussi bien les actions que le dividende versé en 2005 dans leur déclaration 2005 et ils avaient fait de même au moins pour les actions dans leur déclaration 2006. Il s'agissait d'éléments importants dont disposait l'autorité fiscale, qui constituaient des indices suffisants pour exclure une intention manifeste de soustraction. Dans ces conditions, en vertu de la circulaire no 8 de l'Administration fédérale des contributions du 8 septembre 1978, les contribuables n'étaient pas déchus de leur droit au remboursement de l'impôt anticipé retenu sur le dividende échu en 2006. C. Agissant par la voie du recours en matière de droit public, l'Administration fédérale des contributions, Division principale de l'impôt fédéral direct, de l'impôt anticipé, des droits de timbre (ci-après: l'Administration fédérale des contributions) demande au Tribunal fédéral, sous suite de frais, principalement, d'annuler l'arrêt du 10 décembre 2010 et de rétablir les décisions du Service cantonal des contributions du 16 mars 2009 et du 15 octobre 2008; à titre subsidiaire, elle conclut à ce que le dossier soit renvoyé au Tribunal cantonal pour nouvelle décision. Elle fait valoir que les époux X._ n'ont pas déclaré régulièrement le dividende en cause, ni demandé valablement le remboursement de l'impôt anticipé retenu sur ce montant. L'autorité précédente propose de rejeter le recours dans la mesure de sa recevabilité. Les intimés se sont déterminés sur le recours sans prendre de conclusions explicites. 