Faits: A. X._, ressortissant portugais né à Neuchâtel en 1975, dont la famille proche vit en Suisse et qui ne maîtrise pas le portugais, a été mis au bénéfice d'une autorisation de séjour, puis d'une autorisation d'établissement en 1983. Il a effectué toute sa scolarité à Neuchâtel jusqu'à la délivrance d'un certificat fédéral de capacité d'électronicien en 1995; il a ensuite travaillé pour diverses entreprises de la région, en alternance avec des périodes de chômage. B. Durant son séjour en Suisse, X._ a fait l'objet des condamnations et mesures pénales suivantes: - En 2000, le Ministère public neuchâtelois l'a condamné à cinq jours d'arrêts avec sursis pour contravention à la loi fédérale sur les stupéfiants (LStup). - En 2001, le Tribunal correctionnel du district de Neuchâtel l'a condamné à douze mois d'emprisonnement avec sursis, pour avoir vendu quinze kilogrammes de marijuana. - En janvier 2004, le Tribunal correctionnel du district de Neuchâtel l'a condamné à dix jours d'emprisonnement avec sursis pour rixe. - En avril 2004, le Juge d'instruction de La Côte (VD) l'a condamné à 700 fr. d'amende avec sursis pour violation grave des règles de la circulation routière. - En novembre 2004, le président de l'arrondissement judiciaire I Courtelary-Moutier-La Neuveville (BE) l'a condamné à cinq mois d'emprisonnement avec sursis pour délit et contravention à la LStup et violation des règles de la circulation routière. - En octobre 2008, le Tribunal correctionnel du district de Boudry (NE) l'a condamné à une peine privative de liberté de trente-deux mois pour crime et contravention à la LStup et blanchiment d'argent, soit pour avoir vendu quatre cents kilogrammes de marijuana et vingt-huit kilogrammes de haschich, et en avoir lui-même consommé ainsi que de la cocaïne et de l'ecstasy. - Le 12 janvier 2010, l'Office d'application des peines et mesures du canton de Neuchâtel (ci-après: l'Office cantonal) a refusé d'accorder sa libération conditionnelle à l'intéressé en raison d'un pronostic pénal défavorable. Ce dernier avait en effet "illustré à plusieurs reprises le décalage présent entre son discours et ses actes, que ce soit par son évasion avant jugement, une situation professionnelle floue ou des contrôles positifs à l'alcool et à la cocaïne lors des retours de congés" pénitentiaires, qui lui ont valu plusieurs sanctions disciplinaires, dont la révocation du régime de travail externe par décision du 11 décembre 2009 (art. 105 al. 2 LTF; décision précitée du 12 janvier 2010). - Le 2 juin 2010, l'Office cantonal a, au vu de l'évolution favorable constatée par rapport à son comportement, mis X._ au bénéfice de la libération conditionnelle au 7 juin 2010 pour un solde de peine privative de liberté de six mois et seize jours, lui a imparti un délai d'épreuve d'une année, a instauré un mandat de probation pour la durée du délai d'épreuve et lui a imposé diverses règles de conduite (art. 105 al. 2 LTF; décision précitée du 2 juin 2010). - Le 14 juin 2011, le Service de probation neuchâtelois a attesté de ce que l'intéressé avait respecté les règles de conduite, n'avait à sa connaissance pas récidivé, occupait un emploi stable à 100%, avait commencé à diminuer ses dettes, y compris fiscales, et poursuivait des cours modulaires dans le domaine du marketing. - En juin 2011, l'intéressé a été définitivement libéré. - En septembre 2011, le Bureau des créances judiciaires du canton de Neuchâtel a infligé une amende de 80 fr. à X._ pour avoir fait ses besoins sur la voie publique. - En octobre 2011, l'intéressé a occupé les services de police pour avoir franchi sans ticket une barrière de parking payant, fait qu'il a admis en substance. C. Après avoir, le 1er octobre 2009, ouvert une procédure en révocation de l'autorisation d'établissement à l'encontre de X._ et entendu ce dernier, le Service des migrations du canton de Neuchâtel (ci-après: le Service cantonal) a révoqué l'autorisation d'établissement par décision du 29 décembre 2009, en intimant à l'intéressé de quitter la Suisse au jour de sa libération pénale. Par décision du 10 août 2010, le Département de l'économie du canton de Neuchâtel (ci-après: le Département cantonal) a rejeté le recours de X._ contre la décision du Service cantonal. Estimant que le risque de récidive, qualifié de faible, ne revêtait "tout juste" plus un degré suffisant propre à justifier un renvoi de X._, au regard du principe de la proportionnalité, la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel (ci-après: le Tribunal cantonal) a admis le recours formé par X._ par arrêt du 22 mars 2012 et a annulé les décisions des Département et Service cantonaux des 10 août 2010 et 29 décembre 2009. L'Office fédéral des migrations (ci-après: l'Office fédéral) ne s'est pas vu notifier l'arrêt du 22 mars 2012 par le Tribunal cantonal, mais en a reçu copie en annexe à la lettre du 5 avril 2012, que le Département cantonal lui a adressée en le priant d'examiner la possibilité de recourir contre ledit arrêt (art. 105 al. 2 LTF). D. Agissant par la voie du recours en matière de droit public, l'Office fédéral demande au Tribunal fédéral d'annuler l'arrêt du 22 mars 2012, sous suite de frais et dépens. Il dénonce une violation de l'art. 63 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20) en relation avec les art. 2 al. 2 LEtr et 5 al. 1 de l'Annexe I à l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681). Le Tribunal cantonal se réfère aux motifs de l'arrêt attaqué et conclut au rejet du recours. X._ conclut principalement à l'irrecevabilité et subsidiairement au rejet du recours, sous suite de frais et dépens. Le Département cantonal et le Service cantonal concluent à l'admission du recours. 