Faits: A. T._, né en 1972, est au bénéfice depuis le 1 er septembre 1990 d'une rente entière et d'une allocation pour impotent de degré moyen versées par l'assurance-invalidité ainsi que de prestations complémentaires à l'assurance-vieillesse et survivants et à l'assurance-invalidité. Depuis le 25 août 1980, l'assuré séjourne en qualité de résident interne permanent au Centre X._ à N._. De septembre 2008 à juin 2012, l'assuré a recouru aux services de Transport Handicap pour rejoindre durant les week-ends et les périodes de vacances le domicile de ses parents situé à S._. Les frais de transport ont été pris en charge par la Caisse de compensation du canton du Valais au titre des prestations complémentaires. Par décisions des 23 août et 19 septembre 2012, confirmées sur opposition le 23 octobre 2012, la Caisse de compensation du canton du Valais a refusé de prendre en charge les factures de Transport Handicap relatives au mois de juillet et août 2012, expliquant qu'elle ne pouvait intervenir qu'en faveur de personnes vivant à domicile qui se déplaçaient dans une structure de jour ou rejoignaient le lieu de traitement médical le plus proche. B. Par jugement du 23 mai 2013, la Cour des assurances sociales du Tribunal cantonal du Valais a rejeté le recours formé par l'assuré. C. T._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut à la prise en charge par les prestations complémentaires de ses frais de transport entre son foyer de N._ et le domicile de ses parents situé à S._. 