Faits: A. Au mois de mars 2009, B._, étudiante à l'Ecole C._, a fait la connaissance de A._, étudiant à l'Ecole D._ par l'intermédiaire d'un ami commun. Ils sont restés par la suite en contact via notamment le réseau social Facebook. A l'invitation de A._, B._ a accepté le 1er avril 2009 de passer la fin de la semaine en Valais afin de découvrir les châteaux de Sion. Au début de la soirée du vendredi 3 avril 2009, A._ s'est rendu en voiture à Montreux afin de prendre en charge son invitée. Ils sont allés ensuite à Leysin afin d'y retrouver des connaissances, endroit qu'ils ont quitté aux environs de minuit pour rejoindre Crans-Montana où ils ont fréquenté le Club VIP jusqu'à 3 heures. Ils ont regagné ensuite le domicile de A._ situé également à Crans-Montana; ils y ont partagé le même canapé-lit sans échanger le moindre geste affectueux l'un pour l'autre. Au début de l'après-midi du samedi 4 avril 2009, A._ et B._ ont rejoint E._, également étudiant à l'Ecole D._. Ils se sont rendus ensemble dans un établissement public de Sierre pour manger avant d'aller visiter les châteaux de Valère et de Tourbillon à Sion. Ils ont passé ensuite la majeure partie de la soirée au bar F._ à Sierre. A 2 heures 30 environ, ils ont pris la route de Crans-Montana pour arriver vers 3 heures au Club VIP. En raison de l'état dans lequel se trouvait B._, ils n'y sont restés que quelques minutes avant que A._ et E._ ne décident de la ramener au domicile du premier nommé. B._ a expliqué par la suite n'avoir aucun souvenir de ce qui s'est passé après son départ de Sierre. Lorsqu'elle a recouvré ses esprits aux alentours de 6 heures, elle se trouvait sur le canapé-lit du salon de l'appartement de A._, ses pantalons à hauteur des genoux, son slip à l'envers, son t-shirt relevé au-dessus de sa poitrine, son soutien-gorge dégrafé et ses chaussettes enlevées. Elle s'est rendue à la salle de bains où elle a constaté "la présence d'un liquide le long de [s]es cuisses". A._ a admis avoir entretenu aux environs de 4 heures 30 un rapport sexuel avec B._. B. Par jugement du 26 juin 2012, le Juge IV du district de Sierre a reconnu A._ coupable d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance et l'a condamné à une peine privative de liberté de dix-huit mois avec sursis pendant deux ans, ainsi qu'au paiement en faveur de B._ des sommes de 1'857 fr. 30 à titre de dommages-intérêts (avec intérêt à 5 % dès le 6 mai 2009) et de 10'000 fr. à titre de réparation du tort moral (avec intérêt à 5 % dès le 6 avril 2009). C. Par jugement du 18 novembre 2013, le Tribunal cantonal du Valais, Cour pénale II, a rejeté l'appel de A._ et confirmé le jugement de première instance. D. A._ interjette un recours en matière pénale contre ce jugement. Il conclut à l'annulation de celui-ci, à son acquittement du chef d'accusation d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance et au rejet des conclusions civiles. 