Faits: A. Par jugement du 5 octobre 2009, le Tribunal du IIème arrondissement pour le district de Sion a reconnu X._ coupable de viol et il l'a condamné à une peine privative de liberté de vingt-six mois, avec sursis partiel à concurrence de treize mois et délai d'épreuve de deux ans. Il l'a également condamné à verser à Y._ les montants de 15'000 francs à titre d'indemnité pour tort moral et de 1'691 francs à titre de dommages-intérêts, avec intérêts à 5% dès le 10 septembre 2005. B. Le Tribunal cantonal du Valais a partiellement admis le recours dont l'avait saisi X._ par jugement du 15 mars 2011, le condamnant à une peine privative de liberté de vingt-quatre mois, avec sursis et délai d'épreuve de 2 ans. Le précité a par ailleurs été condamné à verser à Y._ les sommes de 8'000 francs à titre d'indemnité pour tort moral et de 1'691 francs à titre de dommages-intérêts, avec intérêts à 5% dès le 16 juin 2009. Cette condamnation se fonde, en bref, sur les éléments suivants. B.a X._ est né le 25 septembre 1979. A l'époque des faits, il était domicilié à Sion et il était marié avec une femme qui n'habitait pas en Valais. Il a rencontré Y._, née le 9 août 1989, au cours d'une soirée à la fin de l'été 2005. Après avoir fréquenté plusieurs établissements publics, il a invité la jeune fille à son domicile. Là, ils se sont dévêtus, se sont massés et ont accomplis des actes d'ordre sexuel, sans pénétration, la jeune fille étant indisposée. B.b Le 10 septembre 2005, vers 19 heures, X._ a téléphoné à Y._ pour lui proposer d'aller boire un verre avec lui, et ils se sont retrouvés peu après au centre de Sion. Comme il n'avait pas amené la bague que la jeune fille avait précédemment oubliée chez lui, il lui a proposé de l'accompagner à son domicile. Une fois au salon, X._ a voulu l'embrasser, ce qu'elle a refusé. Celui-ci s'est ensuite levé et s'est rendu dans la chambre à coucher, d'où il a appelé Y._ pour lui montrer un nouvel éclairage. Celle-ci l'y a rejoint à sa seconde sollicitation. Il a voulu qu'elle se couche, ce qu'elle a refusé. Il l'a alors attrapée et elle s'est retrouvée sur le lit. Elle lui a dit qu'elle ne voulait pas être déshabillée, ce à quoi il a répondu "de toute façon, je m'en fous, ce soir je veux te violer". Elle a tenu son pantalon lorsqu'il a voulu le lui enlever, ce qu'il a néanmoins réussi à faire, manquant presque de le déchirer. Après lui avoir ôté son slip, il a frotté son pénis contre elle, il a amené son sexe près de sa bouche afin qu'elle lui prodigue une fellation et il l'a pénétrée. Après ces faits, Y._ n'a pas immédiatement quitté les lieux et elle s'est fait conduire par X._ en ville, où elle a rejoint, vers 21 heures, des connaissances avec lesquelles elle a passé la soirée jusqu'à une heure avancée de la nuit. Elle a alors expliqué à une amie qu'elle avait dû subir une relation sexuelle non consentie. B.c Dès son entrée dans l'adolescence, Y._ a souffert d'une grande fragilité psychique. A la suite de la séparation de ses parents, à l'âge de douze ans, elle a subi des abus répétés de la part de son père. Ses relations avec sa mère ont été émaillées de disputes fréquentes. Elle avait déjà entretenu plusieurs rapports sexuels avant sa relation avec X._. Selon le rapport du 25 avril 2008 du Centre pour le développement et la thérapie de l'enfant et de l'adolescent (CDTEA), Y._ semblait très "paumée" sur le plan sentimental et sexuel, ignorant les règles de communication en la matière. Le fait d'avoir été utilisée comme objet sexuel dès la préadolescence, puis manipulée dans le décodage et l'apprentissage des règles et tabous, avait probablement perturbé son vécu sexuel de jeune adulte. D'après les récits et descriptions de la jeune fille, il semblait que celle-ci, soit ne savait pas décoder, dans le discours ou les actes de son partenaire, les signes de danger ou d'insécurité potentiels (comme les man?uvres pour la faire venir du bistrot vers l'appartement, puis du salon vers la chambre, etc), soit se croyait capable de faire valoir ses propres envies lorsque celles de son partenaire étaient exprimées sans ambiguïté (comme la phrase: "ce soir je vais te violer"). L'absence de repères l'immobilisait dans une attitude plutôt passive. Lorsqu'elle ne percevait pas clairement le danger, elle ne pouvait pas fixer des limites personnelles à son partenaire, ni clairement exprimer un non, ni faire respecter ce non. Si le risque d'agression était plus explicite, l'illusion de pouvoir y échapper amenait l'intéressée à laisser l'autre commencer et ses dénégations peu claires pouvaient alors être interprétées comme faisant partie du jeu préliminaire. C. X._ interjette un recours en matière pénale au Tribunal fédéral contre le jugement du 15 mars 2011. Il conclut à l'admission du recours, à l'annulation de la décision attaquée et à son acquittement. Il a par ailleurs requis l'effet suspensif relatif à sa condamnation à payer à Y._ diverses sommes d'argent. Celui-ci lui a été accordé par mesures superprovisoires le 21 avril 2011, auxquelles les autres parties ne se sont pas déterminées dans le délai qui leur a été imparti. 