Faits: A. Par décision du 14 mars 2011, la Caisse cantonale vaudoise de compensation AVS a rejeté l'opposition formée par M._ contre une décision du 3 février 2011 en matière de rente ordinaire de vieillesse. B. M._ a formé recours le 23 avril 2011 (timbre postal) contre la décision sur opposition du 14 mars 2011 devant la Cour des assurances sociales du Tribunal cantonal du canton de Vaud. Alléguant qu'il n'avait pu prendre connaissance de cette décision que le 21 avril 2011 vu que la Poste Suisse, à laquelle il avait demandé de réexpédier le courrier vers sa résidence secondaire (chalet à X._) jusqu'au 15 mars 2011, date de son retour à son domicile à G._, avait continué de le faire suivre à son adresse à X._ au-delà de la date butoir du 15 mars 2011 et qu'il avait été absent à l'étranger du 30 mars au 11 avril 2011, il faisait valoir que la réception de la décision du 14 mars 2011 remontait au 21 avril 2011 "par suite de cet imbroglio postal" dont il n'était pas responsable. Par décision du 4 mai 2011, la juridiction cantonale a prononcé que le recours, tardif, était irrecevable (ch. I du dispositif) et rayé la cause du rôle (ch. II du dispositif). C. Par écriture du 26 mai 2011, rectifiée le 30 mai 2011, M._ interjette un recours contre cette décision, en concluant à son annulation. Il demande à bénéficier de la restitution du délai. La Cour des assurances sociales du Tribunal cantonal du canton de Vaud n'a pas d'observations à formuler et se réfère purement et simplement à son jugement. La Caisse cantonale vaudoise de compensation AVS conclut au rejet du recours. Le 12 avril 2012, M._ a déposé ses observations. 