Faits : A. Par arrêt du 7 mai 1984, la Cour de cassation pénale du Tribunal cantonal vaudois a confirmé le jugement rendu le 16 janvier 1984 par le Tribunal criminel du district de Lausanne, qui condamnait X._, en particulier pour l'assassinat de son épouse en 1982, à la réclusion à vie. B. Par décision du 23 décembre 1997, la Commission de libération du Canton de Vaud a accordé la libération conditionnelle à X._, assortie d'un délai d'épreuve de cinq ans, de conditions d'un contrôle social et de contrôles antialcooliques. Au cours de l'année 2001, trois enquêtes ont été ouvertes sur plaintes successives de la concubine de X._ à son encontre. Le 30 novembre 2001, la Commission de libération a révoqué la libération conditionnelle et ordonné la réintégration dans l'exécution de la peine pour une durée indéterminée. Les recours successifs interjetés par X._ contre cette décision ont été rejetés, la dernière fois par arrêt du Tribunal fédéral du 8 mai 2002 (réf. 6A.27/2002). Par rapport d'expertise du 2 décembre 2003, le Département universitaire de psychiatrie adulte du canton de Vaud a posé un diagnostic d'antécédents d'abus d'alcool et de trouble de la personnalité. Ce diagnostic a été confirmé par le rapport d'expertise psychiatrique établi par le Département de psychiatrie du CHUV le 6 juin 2008. Les auteurs de ce dernier rapport ont considéré que l'ouverture du régime d'exécution ne devait pas être exclue, mais que celle-ci ne pouvait être envisagée qu'à la condition de la mise en place de mesures strictes de contrôle des situations à risque. Un tel dispositif de mesures extérieures n'était susceptible d'amener les résultats de prévention escomptés que si X._ y collaborait de manière authentique. Selon les experts, les situations dans lesquelles les failles narcissiques du prénommé représentaient des facteurs de risque étaient les suivantes: une relation de proximité et d'intensité émotionnelle avec une femme, une situation conflictuelle qui réveillerait un sentiment d'abandon ou de tromperie, ainsi qu'une consommation d'alcool, même ponctuelle, qui ajouterait, de par son effet de désinhibition, un facteur de risque supplémentaire par rapport au passage à l'acte. A la suite de la révocation de la libération conditionnelle du 30 novembre 2001, celle-ci a été refusée à X._ à sept reprises, dont les 8 janvier 2008 et 3 mars 2010. C. Par prononcé du 6 mai 2011, le Collège des juges d'application des peines du Canton de Vaud a libéré conditionnellement X._ de l'exécution de sa peine. La durée du délai d'épreuve était fixée à cinq ans. X._ devait se soumettre à des contrôles réguliers d'abstinence à l'alcool. Une assistance de probation était également ordonnée, assumée par la Fondation vaudoise de probation (ci-après : la FVP). Un suivi très régulier par l'autorité de probation s'imposait, lequel devait porter de façon générale sur les conditions de réinsertion et de vie de X._, mais aussi plus spécifiquement sur le contrôle des relations que ce dernier entretiendrait avec ses enfants et petits-enfants, ainsi qu'avec ses neveux et avec toute éventuelle compagne. Le 8 février 2012, X._ a été condamné à 45 jours-amende pour conduite en état d'ébriété. Par prononcé du 8 mars 2013, après avoir constaté que l'intéressé paraissait s'être ressaisi en ce qui concernait l'obligation de respecter une stricte abstinence à l'alcool, le Collège des Juges d'application des peines a maintenu les modalités de la libération conditionnelle fixées par le prononcé du 6 mai 2011, indiquant que la procédure en cause faisait office de sérieux avertissement pour X._. Dans un rapport de situation du 12 septembre 2013, la FVP a indiqué que X._ s'était présenté stressé en entretien et avait expliqué avoir été pris en otage par deux détenus en cavale. Dans un rapport de situation du 19 septembre 2013, la FVP a indiqué avoir été contactée le jour même par la fille de X._. Cette dernière avait fait part d'un intense malaise qui s'était installé dans la relation avec son père. Elle avait indiqué que celui-ci la harcelait et tentait notamment de s'immiscer dans la relation qu'elle entretenait avec ses enfants. Il faisait en outre pression sur elle pour obtenir de l'argent et se serait montré physiquement violent avec une voisine, l'ayant empoignée et giflée à deux reprises. Elle-même se sentait menacée par son père. Elle avait demandé, par l'intermédiaire de son mari, qu'il ne la contacte plus, mais il ne respectait pas sa demande. Les relations avec les autres membres de la famille semblaient en outre se détériorer rapidement. La FVP a considéré cette situation comme particulièrement alarmante et relevé que l'univers illusoire que X._ s'était créé depuis sa sortie de détention s'écroulait brusquement et qu'elle craignait dès lors ses réactions. Le prénommé s'efforçait de gérer et d'organiser son "petit monde" qui représentait, de l'avis de la FVP, un élément stabilisateur. Sans ce dernier, l'hypothèse d'une grave rupture psychique pouvant conduire à de graves passages à l'acte, compte tenu du passé de l'intéressé, devait être sérieusement envisagée. Le 20 septembre 2013, l'Office d'exécution des peines (ci-après : l'OEP) a proposé au Collège des Juges d'application des peines de révoquer la libération conditionnelle et d'ordonner la réintégration. Il a indiqué que, selon les deux conseillers de probation qui suivaient X._, ce dernier était de plus en plus confus dans ses propos et son état d'esprit tendait à varier entre des propos euphoriques et un état à tendance dépressive. De plus, il serait acculé par des problèmes financiers et aurait sollicité à plusieurs reprises de l'argent de ses enfants. Il demeurait en outre toujours dans le déni par rapport à l'assassinat de sa femme, estimant encore récemment qu'il s'agissait d'un accident. Compte tenu de ces éléments, dont l'isolement familial de X._, l'existence d'un conflit avec ses enfants, sa non-acceptation de l'interdiction que posait sa fille dans leurs relations, le harcèlement qu'il tendait à avoir à son égard, l'OEP a considéré que X._ n'était plus digne de la confiance inhérente au maintien de son élargissement anticipé. Plus précisément, le contrôle de sa libération conditionnelle par la FVP et les tests d'abstinence ne paraissaient plus constituer une barrière suffisante pour contenir le risque de récidive d'infractions contre l'intégrité corporelle ou la vie. L'OEP a encore souligné que X._ était déjà passé à l'acte et que les graves faits commis dans le cadre d'une précédente libération conditionnelle l'avaient conduit à une réintégration en milieu fermé. Cela tendait à démontrer que les freins moraux dont il disposait ne paraissaient plus suffisants, que son entourage se détournait de lui, induisant un sentiment d'abandon, qu'il demeurait incapable d'accepter un avis ne lui convenant pas et que plusieurs facteurs du risque de récidive étaient présents. Des mesures provisionnelles en vue d'une réintégration immédiate en milieu carcéral devaient également être ordonnées. D. Par ordonnance de mesures provisoires du 23 septembre 2013, le Président du Collège des Juges d'application des peines a ordonné la réintégration immédiate, à titre provisoire, de X._, dans un établissement carcéral d'exécution de peine. Par ordonnance du 21 février 2014, il a rejeté une demande de libération. Par décision du 30 juin 2014, le Collège des Juges d'application des peines a révoqué la libération conditionnelle et ordonné la réintégration de X._ dans l'exécution de la peine. E. Par arrêt du 9 juillet 2014, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé par X._ contre cette décision. F. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut à l'annulation de cette décision et à sa remise en liberté conditionnelle, subsidiairement au renvoi de la cause à l'autorité précédente pour qu'elle mette en oeuvre une expertise psychiatrique et rende une nouvelle décision à réception du rapport d'expertise. Il sollicite également l'assistance judiciaire. 