Faits: A. A.a Par jugement du 5 avril 2007, confirmé ultérieurement par la Cour de cassation pénale du Tribunal cantonal vaudois, le Tribunal criminel de l'arrondissement de Lausanne a condamné X._ à une peine de seize ans de réclusion, pour le meurtre d'une femme commis au cours d'un rapport sexuel rémunéré. En sus de cette condamnation, son casier judiciaire comporte deux inscriptions, soit 500 fr. d'amende infligée le 26 juin 1998, pour violation des règles de la circulation, violence ou menace contre les autorités ou les fonctionnaires, et deux mois d'emprisonnement ainsi que 400 fr. d'amende prononcés le 9 mars 2001, pour des infractions à la LCR. A.b Dans le cadre de la cause ayant conduit au jugement précité, X._ a été soumis à une expertise psychiatrique. Les médecins ont posé le diagnostic de trouble de la personnalité à traits schizoïdes et paranoïaques, doublé d'utilisation d'alcool nocive pour la santé. Les caractéristiques schizoïdes se manifestent par un mode général de détachement par rapport aux relations sociales et de restriction de la variété des expressions émotionnelles dans les rapports avec autrui. Ainsi, l'expertisé ne cherche, ni n'apprécie les relations proches y compris les relations intrafamiliales, n'a pas d'amis proches ou de confidents et choisit presque toujours des activités solitaires. Quant aux traits paranoïaques, ils se caractérisent par une méfiance soupçonneuse et envahissante envers les autres dont les intentions sont interprétées comme malveillantes. Les experts ont estimé que le risque de récidive restait présent dans des circonstances similaires. Ils ont précisé qu'il n'existait pas de traitement approprié à l'heure actuelle pour de tels troubles, hormis une psychothérapie de longue haleine qui n'aurait de chance de succès que dans la mesure où l'intéressé en manifesterait la demande, ce qu'il n'avait encore jamais fait. B. B.a X._, détenu préventivement à la prison du Bois-Mermet, a été transféré après son jugement, le 13 novembre 2007, aux Etablissements de la plaine de l'Orbe (EPO). Le 20 décembre 2007, il a contesté ce transfert et requis son intégration aux pénitenciers de Bellechasse, de Witzwil ou éventuellement de Crêtelongue, faisant valoir qu'il était un condamné primaire. Le 22 janvier 2008, les EPO ont préavisé négativement à cette demande. B.b Par décision du 22 février 2008, l'Office d'exécution des peines a rejeté la requête de X._ en se référant au préavis précité. Il a estimé que les motifs invoqués ne justifiaient pas un transfert dans un autre établissement et que les dispositions concordataires ne consacraient pas de droit au détenu à être placé dans tel ou tel établissement pénitentiaire. Par arrêt du 24 avril 2008, le Juge d'application des peines du canton de Vaud a rejeté le recours du condamné. C. X._ dépose un recours en matière pénale au Tribunal fédéral. Invoquant l'arbitraire et une violation des art. 37 aCP et 12 de l'ancien Concordat sur l'exécution des peines et des mesures concernant les adultes et les jeunes adultes dans les cantons romands et du Tessin (C-EPMRT), il conclut, principalement, à l'annulation de l'arrêt cantonal et au renvoi de la cause pour nouvelle décision et, subsidiairement, à sa réforme en ce sens qu'il est transféré immédiatement dans un établissement réservé aux délinquants primaires. Il requiert également l'assistance judiciaire. 