Faits : A. A._, né en 1976, travaillait depuis le 1 er novembre 2011 en qualité de responsable de secteur auprès de la société B._ SA (boulanger-traiteur). Le contrat de travail prévoyait un salaire mensuel brut de 6'300 fr.; en sus, durant les trois premiers mois, l'employé recevait une prime sur objectif de 500 fr. par mois versée à la fin de la période d'essai concluante. Dès le 1 er février 2012, l'employé devait recevoir une prime sur objectif variable sur un montant cible de 1'000 fr. par mois versée trimestriellement en fonction des objectifs atteints. Le 6 août 2012, l'employeur a résilié les rapports de travail avec effet au 30 septembre 2012, date reportée au 31 octobre suivant en raison d'une période de protection. Le 10 septembre 2012, A._ s'est annoncé au chômage et a requis l'octroi des indemnités journalières à partir du 1 er novembre 2012. Invité par la caisse de chômage à fournir des renseignements sur les motifs de la résiliation des rapports de travail, l'employeur a indiqué, par lettre du 3 décembre 2012, que A._ n'était pas d'accord avec le calcul de ses primes et le montant de son salaire. Il a joint la copie d'un avertissement du 1 er juin 2012 ainsi que la réponse de l'assuré du 12 juin 2012. L'employeur a ajouté que dès lors que la motivation de l'intéressé n'était plus en accord avec ses attentes, le contrat de travail avait été résilié. De son côté, l'assuré a expliqué que lors de son engagement, l'employeur lui avait promis un salaire avec une prime variable atteignable facilement, voire dépassable. Or, dans les faits, cette prime avait été impossible à réaliser. A l'issue d'un entretien ayant eu lieu le 6 août 2012, l'assuré pensait qu'une solution avait été trouvée en supprimant les primes de sa rémunération; il avait dès lors été étonné de recevoir la lettre de licenciement. Par décision du 19 décembre 2012, la Caisse cantonale de chômage (ci-après: la caisse) a prononcé la suspension du droit de l'assuré à l'indemnité de chômage d'une durée de 31 jours dès le 1 er novembre 2012 pour faute grave. Elle a considéré que " par son attitude, plus particulièrement par l'insistance démontrée quant à son mécontentement relatif aux primes d'objectifs ", l'assuré avait donné des raisons à son employeur de le licencier. L'assuré ayant formé opposition contre cette décision, la caisse l'a rejetée par une nouvelle décision du 17 janvier 2013. B. Par jugement du 19 juin 2013, la Cour des assurances sociales du Tribunal cantonal du Valais a rejeté le recours formé par l'assuré contre la décision sur opposition du 17 janvier 2013. C. A._ interjette un recours en matière de droit public contre ce jugement dont il demande principalement l'annulation et, subsidiairement, la suspension du droit à l'indemnité de chômage en raison d'une faute légère pour une durée maximale d'un jour. Plus subsidiairement encore, le recourant conclut au renvoi de la cause à l'autorité précédente pour complément d'instruction au sens des considérants. L'intimée et le Secrétariat d'Etat à l'économie ont renoncé à se déterminer. 