Faits: A. A.a. A._, née en août 1956, titulaire du diplôme de laborantine médicale, a travaillé au service de D._. Elle était affiliée à la Caisse de pensions de l'Etat de Vaud (ci-après: la CPEV) depuis le 1er novembre 1979. Le 17 juin 2008, A._ a été victime d'une chute. Elle a présenté dès ce moment-là une incapacité de travail de 100 % jusqu'au 3 mai 2009. La reprise progressive de son activité s'est accompagnée d'une rechute et de symptômes douloureux avec limitations de la capacité de travail. Les médecins ayant découvert que A._ était atteinte d'un mélanome vaginal, ils l'ont mise à l'arrêt de travail complet à partir du 19 octobre 2009, date à laquelle elle a subi une hystérectomie totale, suivie d'une reprise chirurgicale pour compléter l'exérèse du mélanome. Par lettre du 5 mars 2010, la CPEV a informé A._ qu'ensuite de la fin de son droit au salaire en date du 19 novembre 2009, elle était mise au bénéfice d'une pension d'invalidité temporaire totale pour la période du 20 novembre 2009 au 31 mars 2010 et qu'elle avait droit à une prestation basée sur une pension mensuelle de 4'081 fr. 90 et à un supplément temporaire calculé sur la base d'une prestation mensuelle de 1'140 fr.. Le droit de l'assurée à une pension d'invalidité temporaire totale a été prolongé jusqu'au 31 mai 2010, puis jusqu'au 31 août 2010. Au cours du mois de mai 2010, des examens médicaux ont révélé que A._ était atteinte de métastases pulmonaires et d'une récidive du mélanome. Par lettre du 31 août 2010, la CPEV a avisé l'assurée que son droit à une pension d'invalidité temporaire totale était prolongé jusqu'au 31 décembre 2010. A._ est décédée le 6 octobre 2010. A.b. Le 12 juin 2009, A._ avait présenté une demande de prestations de l'assurance-invalidité. Dans un rapport du 27 août 2010, les docteurs F._ et G._ (médecins du SMR) ont considéré que la capacité de travail exigible de l'assurée était nulle depuis le 17 juin 2008, date du début de l'incapacité de travail durable. Dans un prononcé du 6 septembre 2010, l'Office de l'assurance-invalidité pour le canton de Vaud a conclu à une invalidité de 100 % dès le 17 juin 2009. Dans un préavis du 6 septembre 2010, il a informé A._ qu'elle avait droit à une rente entière d'invalidité dès le 1er décembre 2009 (soit six mois après le dépôt tardif de la demande), droit à la rente qu'il a confirmé par décision du 21 février 2011 en ce qui concerne la période du 1er décembre 2009 au 31 octobre 2010. A.c. Par lettre du 29 novembre 2010, B._ et C._, père et mère et héritiers de la défunte, se sont adressés à la CPEV. Ils affirmaient que l'emploi de leur fille auprès de l'Etat de Vaud avait pris fin le 30 septembre 2010 et que la question se posait de savoir s'il existait au jour de son décès un droit à une prestation de sortie. Le 4 janvier 2011, ils ont relancé la CPEV. Dans sa réponse du 25 janvier 2011, la CPEV les a informés qu'après vérification auprès de l'employeur de la défunte le contrat de travail n'avait à sa connaissance pas été résilié pour le 30 septembre 2010 et que feu A._ ne pouvait prétendre à une prestation de sortie, étant donné qu'elle avait perçu une pension de la CPEV depuis le 20 novembre 2009 jusqu'à son décès. Par lettre du 1er février 2011, B._ et C._, contestant le point de vue de la CPEV, ont produit copie d'une lettre de feu A._ du 30 septembre 2010, adressée à D._ par lettre signature, où elle déclarait démissionner avec effet immédiat de son emploi, sachant qu'elle ne pourrait plus jamais y travailler pour des raisons graves de santé. B. B._ et C._ ont saisi le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, d'une demande datée du 17 février 2011 contre la Caisse de pensions de l'Etat de Vaud, en concluant, avec suite de dépens, à ce que la prestation de sortie de feu A._, totalisant 454'315 fr. au 28 février 2009, montant à recalculer au 30 septembre 2010, leur soit attribuée avec intérêts à 5 % l'an dès cette date. Parmi les documents produits, figurait une copie d'une "Déclaration à qui de droit" datée du 30 septembre 2010, dans laquelle feu A._ affirmait vouloir retirer le capital de sa caisse de pension pour le mettre sur un compte de libre passage afin de financer l'achat d'un logement pour sa propre utilisation. La Caisse de pensions de l'Etat de Vaud a conclu, sous suite de dépens, au rejet de la demande. Dans leur détermination du 3 mai 2011, B._ et C._ ont maintenu leurs conclusions. Interpellé par la juridiction cantonale, D._, par lettre du 7 juillet 2011, a déclaré qu'il n'était pas en possession de la lettre que feu A._ lui aurait envoyée par pli recommandé le 30 septembre 2010. Dans un courrier du 22 août 2011, B._ et C._ ont produit la confirmation de quittance remise par la Poste le 2 octobre 2010 et le justificatif de distribution attestant que le pli en question avait été distribué le 4 octobre 2010 à D._. Par lettre du 30 septembre 2011, D._ a déclaré que selon sa pratique, même s'il avait pris en compte la volonté de feu A._ de mettre fin à son contrat de travail exprimée dans sa lettre du 30 septembre 2010, il n'aurait jamais accepté l'effet immédiat de sa décision, afin de ne pas la priver de prestations qui lui étaient acquises jusqu'au 31 décembre 2010. Les 24 octobre 2011, 8 février, 27 mars et 16 mai 2012, les parties ont fait part à l'autorité judiciaire de première instance de leurs déterminations. A la requête de la juridiction cantonale, l'Office de l'assurance-invalidité pour le canton de Vaud a produit le dossier de feu A._. Par lettre du 27 novembre 2012, D._ a déclaré que malgré ses recherches, il n'avait pas trouvé le courrier recommandé du 2 octobre 2010 de feu A._. Les parties ont eu la possibilité de déposer leurs observations. Par arrêt du 5 décembre 2013, la juridiction cantonale a rejeté la demande. C. L'hoirie de feu A._ - soit B._ et C._ - interjette un recours en matière de droit public contre ce jugement, en concluant, sous suite de frais et de dépens, à sa réforme en ce sens que la Caisse de pensions de l'Etat de Vaud doit lui payer la somme de 454'315 fr. valeur au 28 février 2009, montant à recalculer au 30 septembre 2010, avec intérêts à 5 % l'an dès le 1er octobre 2010. A titre subsidiaire, elle demande que le jugement entrepris soit annulé, la cause étant renvoyée à la juridiction cantonale pour nouvelle décision au sens des considérants. 