Faits: A. X._ est né en 1962 en Allemagne, pays dont il est originaire. Après avoir effectué sa scolarité obligatoire, il a étudié au conservatoire de Stuttgart, puis à celui de Genève de 1987 à 1991. Il a ensuite travaillé en Suisse dans diverses écoles Steiner en qualité de professeur de musique et a également été organiste et chef de choeur. L'intéressé s'est marié en 1994 avec une suissesse et a eu deux enfants, A._, née en 1995, et B._, né en 1998. Les époux ont vécu séparés depuis 2002 et, jusqu'à l'introduction de l'affaire pénale dont il est question ci-après, la garde des enfants était partagée en ce sens que les enfants vivaient la moitié de la semaine chez leur mère et l'autre moitié auprès de leur père. B. Par jugement du 23 mai 2011, le Tribunal correctionnel de l'arrondissement de l'Est vaudois (ci-après: le Tribunal correctionnel) a condamné X._ à une peine privative de liberté de trente-six mois dont dix-huit assortis d'un sursis d'une durée de cinq ans, sous déduction de neuf jours de détention préventive, pour actes d'ordre sexuel avec des enfants, contrainte sexuelle et pornographie. Il a également ordonné que l'intéressé soit soumis à un traitement ambulatoire. Il ressort de ce jugement ce qui suit: - entre l'été et l'automne 2008, X._ a imposé à son fils B._, alors âgé de dix ans, des caresses à caractère sexuel, l'a masturbé et lui a prodigué des fellations jusqu'à éjaculation. II a demandé les mêmes gestes à son fils. A sa requête, B.X._ s'est plié aux mêmes gestes sur son géniteur sans exprimer son refus. B.X._ a expliqué au Tribunal correctionnel ne pas avoir accepté de son plein gré ces actes d'ordre sexuel, mais ne pas avoir eu la possibilité de les éviter, dès lors que son père s'en prenait à lui alors que sa soeur A._ était couchée dans une pièce à côté, à l'occasion de la garde alternée mise en place par ses parents. X._ a fait pression sur son enfant en lui disant qu'il ne "devait pas en parler à sa mère car elle ne comprendrait pas". En automne 2008, B.X._ a demandé à son père de cesser ses agissements et celui-ci s'est rangé à son souhait durant un certain temps; - entre l'été 2009 et janvier 2010, les caresses, masturbations et fellations réciproques ont recommencé de plus belle, le plus souvent, et notamment la première fois, à l'initiative de X._, mais aussi, à quelques reprises, de l'enfant. Père et fils ont en outre regardé, à plusieurs reprises, des films pornographiques sur Internet en se masturbant réciproquement jusqu'à éjaculation. Ces actes d'ordre sexuel ont pris fin à la demande de B.X._ au début janvier 2010; - durant l'instruction pénale et aux débats devant le Tribunal correctionnel, X._ a persisté à soutenir que l'initiative des actes d'ordre sexuel sur son fils était venue de l'enfant lui-même. Mais, sur la base des déclarations de la victime, le Tribunal correctionnel a retenu que c'était X._ qui avait initié les actes d'ordre sexuel et que B.X._ était demeuré passif; - s'agissant de la fréquence des actes délictueux, X._ a minimisé son comportement. Sur la base des déclarations de B.X._ selon lesquelles il avait subi les assauts de son père matin et soir, tous les jours qu'il passait auprès de lui, soit environ quatre jours par semaine au vu de la garde alternée mise en place, le Tribunal correctionnel a retenu que les actes d'ordre sexuel avaient eu lieu à raison de deux fois par jour, entre trois et quatre fois par semaine; - c'est X._ qui, alors qu'il avait interpellé le Service de protection de la jeunesse pour faire part des inquiétudes qu'il avait au sujet des relations entre sa fille A._ et le grand-père maternel de celle-ci - inquiétudes qui se sont révélées sans fondement -, a dévoilé lors de cet entretien au SPJ qu'il avait commis des actes d'ordre sexuel sur son fils B._ depuis l'été 2008; - X._ a été soumis à une expertise médico-légale psychiatrique confiée aux Drs Y._ et Z._, de la Fondation Nant. Dans leur rapport du 16 septembre 2010, ceux-ci ont posé le diagnostic de "psychose non organique. Cette expertise, largement reprise dans l'arrêt entrepris devant le Tribunal fédéral, relève en particulier que la psychose dont l'expertisé est atteint s'exprime de façon bien sectorisée et n'influence pas son discernement ni ses compétences sociales et professionnelles. A notre avis, l'expertisé présente un risque de récidive, au vu surtout du goût pour la transgression et de la force des pulsions (hypersexualisation) qu'il présente. Cette appréciation s'étaye aussi sur le fait que l'expertisé ne remet qu'assez partiellement en question ses agissements (il dira par exemple: «Humainement, cela n'est pas si grave»). Le Tribunal correctionnel a retenu que " La culpabilité de X._ est lourde. La proie choisie était facile dès lors qu'elle était auprès de lui la moitié de la semaine et qu'en raison des liens de filiation qui les unissent, l'ascendant nécessaire au passage à l'acte n'avait pas à être créé. Partant, le prévenu fait fausse route en tentant de s'exculper au motif qu'il n'a jamais porté atteinte à l'intégrité sexuelle des enfants auxquels il enseignait. Le nombre des actes fait frémir, de même que l'impuissance de la victime à les éviter dans un premier temps. Le concours d'infractions (art. 49 CP) vient alourdir la peine. La responsabilité est entière et les experts estiment le risque de récidive important. La prise de conscience de ses actes par X._ est encore très faible, voire inexistante, tant il est vrai que, d'un côté, il dit reconnaître leur gravité, mais que, d'un autre, il rejette l'initiative des faits sur sa victime. Conformément à la jurisprudence, l'absence d'antécédents judiciaires a un effet neutre, aucun motif ne justifiant d'en faire un élément à décharge (...). A décharge, la situation personnelle de X._ sera prise en considération, de même que le suivi psychothérapeutique initié par le prévenu auprès du Dr Gravier. Il faut prendre acte que le prévenu s'est dénoncé lui-même auprès du Service de protection de la jeunesse, lequel a fait appel à la justice.". Par arrêt du 29 août 2011, la Cour d'appel pénale du Tribunal cantonal a rejeté l'appel interjeté par X._ à l'encontre du jugement rendu le 23 mai 2011 par le Tribunal correctionnel. Le divorce des époux X._ a été prononcé le 13 janvier 2012. Suite à la dénonciation par le Servie de protection de la jeunesse, les enfants de X._ ont refusé de rencontrer leur père. En outre, l'autorisation d'enseigner provisoire a été retirée à l'intéressé, de sorte qu'il n'a plus enseigné au sein d'écoles; il n'a donc plus travaillé que comme organiste et chanteur. X._ purge sa peine depuis le 21 février 2012 aux Etablissements Pénitentiaires de Bellechasse, à Sugiez (FR). La fin de sa peine est fixée au 12 août 2013. C. Par décision du 5 avril 2012, le Chef du Département de l'économie a révoqué l'autorisation d'établissement dont X._ est titulaire, en application de l'art. 5 de l'Annexe I de l'Accord du 21 juin 1999 entre la Confédération suisse d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681) en prenant spécialement en compte l'important risque de récidive. Il a imparti à l'intéressé un délai immédiat pour quitter la Suisse dès qu'il aurait satisfait à la justice vaudoise. X._ a interjeté recours le 19 avril 2012 contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal (ci-après: le Tribunal cantonal). Le 18 février 2013, le Tribunal cantonal a rejeté le recours. D. X._ forme un recours en matière de droit public auprès du Tribunal fédéral contre le jugement du Tribunal cantonal. Outre l'effet suspensif et l'assistance judiciaire, il requiert principalement l'annulation de l'arrêt entrepris, la poursuite de son autorisation d'établissement, un avis comminatoire lui étant au besoin notifié. Subsidiairement, il demande le renvoi de la cause au Tribunal cantonal pour complément d'instruction sous la forme d'un rapport à requérir du Dr Zbinden au sujet du risque de récidive qu'il représente. Le Tribunal cantonal, le Service de la population et le Département du canton de Vaud ont renoncé à se déterminer sur le recours. Par ordonnance du 8 mars 2013, le Président de la IIe Cour de droit public a accordé l'effet suspensif au recours. 