Faits: A. Au mois de décembre 2002, X._ a acheté, sans permis d'acquisition, une arme à feu et des munitions à l'Armurerie Montheysanne. Le 17 mars 2005, il a menacé A._ de tuer la mère de celle-ci, soit son ex-épouse B._, précisant qu'il détenait une arme. Cette menace a alarmé les deux femmes, A._ en ayant informé sa mère. Le lendemain, il a encore déclaré au médecin C._ et à l'infirmière D._, soignants au sein de l'hôpital psychiatrique de Malévoz où il se trouvait hospitalisé - qu'il pouvait tuer n'importe lequel d'entre eux. Par jugement du 21 juin 2006, le Juge du district de Monthey l'a reconnu coupable de menaces (art. 180 CP) et de violation de la loi fédérale sur les armes par négligence (art. 33 al. 2 LArm) et l'a condamné à la peine de trois mois d'emprisonnement sous déduction de la détention préventive subie du 19 mars au 24 juin 2005, avec sursis pendant trois ans. Ce jugement prévoyait en outre, à titre de règle de conduite, la soumission à un traitement psychothérapeutique durant le délai d'épreuve (ch. 3 du dispositif). B. X._ a formé un appel contre ce jugement auprès du Tribunal cantonal du canton du Valais. Il a, dans ce contexte, requis que l'instruction soit complétée par la mise en oeuvre d'une nouvelle expertise psychiatrique et par un rapport, d'un toxicologue ou d'un pharmacologue, précisant les conséquences de l'absorption de médicaments à haute dose durant la nuit du 17 au 18 mars 2005. Par décision du 17 septembre 2007, la Juge de la Cour pénale II du Tribunal cantonal a rejeté cette requête. Par arrêt du 25 avril 2008, l'appel a été rejeté sur le fond. X._ a été reconnu coupable des mêmes infractions et la même peine lui a été infligée qu'en première instance. La cour cantonale a cependant corrigé d'office le dispositif du jugement de première instance, en ce sens que le traitement ambulatoire constituait une mesure et non une règle de conduite. En ce qui concerne la mesure, la cour cantonale a retenu, en substance, que dans son rapport du 25 mai 2005, le Dr E._, expert judiciaire, avait posé le diagnostic de trouble mixte de la personnalité avec caractéristiques de développement de personnalité paranoïde (F61.0). Son rapport précisait que ce diagnostic devait être posé, même si l'intéressé ne remplissait en apparence peut-être pas tous les critères stricts, au sens des définitions diagnostiques, d'une personnalité paranoïaque. Selon la cour cantonale, il n'y avait pas de raison de s'écarter de ce diagnostic, confirmé également par F._, psychiatre-psychothérapeute, qui avait suivi l'intéressé durant six mois jusqu'en janvier 2006. Le rapport d'expertise établi le 7 juillet 2005 par le Dr G._ à la demande de l'Office cantonal de l'assurance-invalidité indiquait certes que X._ ne présentait aucun des caractères d'une affection mentale clairement définie et que, de ce fait, il n'était pas possible d'utiliser les catégories cliniques de la classification internationale des troubles mentaux et des troubles du comportement [CIM-10]. Ce dernier rapport était cependant intervenu dans un autre contexte et procédait partiellement d'autres méthodes que l'expertise judiciaire pénale. La cour cantonale a, en particulier, souligné à ce propos que le Dr E._ avait pu apprécier directement la portée et la crédibilité des déclarations de B._, sur lesquelles il fondait son appréciation, alors qu'à l'inverse, le Dr G._ avait précisé que les dires de celle-ci méritaient d'être regardés avec prudence, compte tenu de ce que l'on savait d'elle et de ses rapports avec l'expertisé. C. X._ forme un recours en matière pénale. Il conclut principalement à la réforme de cet arrêt en ce sens que le chiffre 3 de son dispositif, relatif au traitement ambulatoire, soit annulé et, à titre subsidiaire, au renvoi de la cause à l'une ou l'autre des autorités cantonales pour nouvelle décision au sens des considérants. Il conclut par ailleurs à la réforme de la décision incidente du 17 septembre 2007 en ce sens que les compléments d'expertise requis soient ordonnés. Il n'a pas été ordonné d'échange d'écritures. 