Faits: A. Par jugement du 23 février 2010, rendu à la suite de la demande de relief de X._, le Tribunal correctionnel d'arrondissement de l'Est vaudois a condamné le prénommé à une peine privative de liberté de sept ans, sous déduction de la détention subie avant jugement, pour viol, contrainte sexuelle et actes d'ordre sexuel avec un enfant. Le 19 août 2013, X._ avait subi les deux tiers de sa peine. B. Par arrêt du 24 juillet 2013, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ contre le jugement du 9 juillet 2013 prononcé par le Collège des juges d'application des peines du canton de Vaud qui a refusé de le libérer conditionnellement. C. X._ forme un recours en matière pénale contre l'arrêt du 24 juillet 2013 dont il demande la réforme en ce sens que la libération conditionnelle lui soit accordée. Subsidiairement, il conclut au renvoi de la cause à l'autorité cantonale pour nouvelle décision. Il sollicite par ailleurs l'assistance judiciaire. 