Faits: A. A.a. Le 21 janvier 2000, le Tribunal de police de Lausanne a condamné X._ pour escroquerie à une peine privative de liberté de quinze jours, avec sursis pendant trois ans. A.b. En juillet 2002, X._ a menacé de mort la mère de deux de ses enfants. En octobre de la même année, il l'a tuée, dans l'appartement occupé également par leurs deux enfants, lui a infligé, vraisemblablement après son décès, des lésions génitales, essentiellement une plaie longue de douze centimètres, puis s'est débarrassé du corps dans la forêt. Par jugement du 8 octobre 2004, le Tribunal criminel de l'arrondissement de La Broye et du Nord vaudois a condamné X._ pour meurtre, menaces et atteinte à la paix des morts à quatorze ans de peine privative de liberté, sous déduction de la détention préventive subie. Il a révoqué le sursis prononcé le 21 janvier 2000 et a expulsé X._ du territoire suisse pour une durée de dix ans, avec sursis pendant trois ans. Par arrêt du 18 avril 2005, la Cour de cassation pénale du Tribunal cantonal vaudois a réformé le jugement du 8 octobre 2004 en ce sens qu'elle a reconnu X._ coupable d'assassinat, de menaces et d'atteinte à la paix des morts. Elle l'a condamné à une peine privative de liberté de seize ans, sous déduction de la détention préventive subie, et a ordonné l'expulsion du territoire suisse pour une durée de quinze ans, expulsion assortie du sursis pendant cinq ans. Par arrêt du 16 février 2006 (6S.435/2005), le Tribunal fédéral a rejeté le pourvoi en nullité formé par X._ contre cet arrêt. B. X._ a atteint les deux tiers des peines privatives de liberté précitées le 16 juin 2013. Par jugement du 18 juin 2013, le Collège des Juges d'application des peines du canton de Vaud a refusé de lui accorder la libération conditionnelle. C. Par arrêt du 18 juillet 2013, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé contre ce jugement par X._. D. Ce dernier interjette un recours en matière pénale auprès du Tribunal fédéral. Il conclut à la réforme de l'arrêt du 18 juillet 2013 en ce sens que la libération conditionnelle lui est immédiatement accordée. Subsidiairement, il requiert l'annulation de cet arrêt et le renvoi de la cause à l'autorité cantonale pour nouvelle décision. Il sollicite le bénéfice de l'assistance judiciaire. 