Faits: A. B._, né en 1961, est enseignant à l'école X._. A ce titre, il est obligatoirement assuré contre le risque d'accidents auprès du Groupe Mutuel Assurances GMA SA (ci-après: le Groupe Mutuel). Le 7 juillet 2008, l'employeur a transmis à l'assureur-accidents une déclaration de sinistre bagatelle LAA dans laquelle il était indiqué que le 25 juin 2008, B._ était tombé et s'était tapé l'épaule droite au cours d'un match de football entre professeurs et élèves. Les premiers soins avaient été donnés par le docteur S._, qui avait conclu à une contusion de l'épaule. Durant les vacances scolaires qui ont débuté le 28 juin 2008, B._ est parti au Canada. A son retour, en raison de la persistance de ses douleurs à l'épaule droite, il a consulté à nouveau le docteur S._. Une IRM réalisée le 30 septembre 2008 a mis en évidence une déchirure complète du tendon du muscle sus-épineux avec rétraction du tendon jusqu'à la hauteur du bourrelet supérieur. Invité à répondre à un questionnaire du Groupe Mutuel, le docteur O._, auquel l'assuré avait été adressé par son médecin traitant, a posé le diagnostic de rupture massive de la coiffe des rotateurs; à la question de savoir quelle était l'étiologie de cette lésion, le médecin a répondu: "accident + chronique". Par décision du 5 février 2009, le Groupe Mutuel a refusé de prendre en charge le cas au-delà du 30 septembre 2008. Se fondant sur l'avis de son médecin-conseil, le docteur D._, il a considéré que l'atteinte diagnostiquée par IRM n'avait pas pu être causée par l'événement du 25 juin 2008 lequel n'avait fait qu'aggraver momentanément un état dégénératif préexistant. L'assuré a formé opposition contre la décision en produisant plusieurs certificats médicaux (des docteurs S._, O._ et L._) allant tous dans le sens de l'existence d'un lien de causalité (au moins partiel) entre la rupture de la coiffe des rotateurs et l'événement du 25 juin 2008. Intras, assureur-maladie de l'intéressé, a également formé opposition. En cours de procédure, l'assuré a été examiné par le docteur D._ (appréciation du 4 avril 2009). Sur cette base, l'assureur-accidents a rendu le 1er décembre 2009 une nouvelle décision, par laquelle il a écartée les deux oppositions. Dans l'intervalle, en octobre 2009, B._ a été opéré. Il a subi une seconde intervention au début de l'année 2011 en raison d'une récidive de la rupture. B. L'assuré a recouru contre la décision sur opposition du Groupe Mutuel devant la Cour des assurances sociales du Tribunal cantonal vaudois. Après avoir ordonné une expertise judiciaire qu'il a confiée au docteur W._ (rapport d'expertise du 30 novembre 2010; rapport complémentaire du 11 mars 2011), le tribunal cantonal a rejeté le recours, par jugement du 22 juin 2011. C. B._ interjette un recours en matière de droit public contre le jugement cantonal, dont il requiert l'annulation. Sous suite de frais et dépens, il invite le Tribunal fédéral à constater qu'il a droit aux prestations légales LAA au-delà du 30 septembre 2008 pour les suites de l'événement du 25 juin 2008. Le Groupe Mutuel conclut au rejet du recours. L'Office fédéral de la santé publique a renoncé à se déterminer. 