Faits: A. A.a X._ SA exploite un bureau d'architecte. A._ est administrateur de cette société, pour laquelle il travaille en qualité d'architecte, et affilié à ce titre à la Caisse AVS de la Fédération patronale vaudoise. Le 31 janvier 2007, la caisse a procédé à un contrôle d'employeur auprès de X._ SA en ce qui concerne la période de 2002 à 2005. Par décision du 29 juin 2007, elle a communiqué à cette société un relevé de compte rectificatif selon rapport de contrôle n° Y._ et lui a réclamé le versement d'un montant de 103'249 fr. 05 correspondant aux cotisations AVS/AI/APG/AC et aux cotisations aux allocations familiales (y compris les frais de gestion de la caisse et les intérêts moratoires) dues sur les salaires non déclarés et revalorisation des salaires nets en ce qui concerne six employés, dont A._. Le 2 juillet 2007, X._ SA a formé opposition contre cette décision. Par décision du 12 juin 2008, la caisse a rejeté l'opposition. A.b La société X._ SA a formé recours contre cette décision devant le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, qui a invité A._ à se déterminer comme tiers intéressé à la procédure. Elle contestait les reprises de salaires en ce qui concerne A._ de 369'225 fr. pour 2004 et de 172'450 fr. et 17'310 fr. pour 2005. Par jugement du 9 février 2010 (AVS 29/08 - 7/2010), la juridiction cantonale a partiellement admis le recours, annulé la décision sur opposition du 12 juin 2008 et renvoyé la cause à la caisse "pour nouvelle décision dans le sens des considérants du présent arrêt". Elle a considéré que la somme de 350'400 fr. (correspondant aux rémunérations nettes versées en 2004 à A._ par la société X._ SA) devait être réduite de 65'400 fr., compte tenu des honoraires figurant dans les comptes de A._ en tant qu'indépendant, et que c'était donc un montant net de 285'000 fr. (350'400 fr. - 65'400 fr.), à revaloriser au brut, qui devait être repris pour 2004. En ce qui concerne l'année 2005, où le salaire annoncé à la caisse selon la récapitulation des salaires payés pour cette année-là se montait à 106'800 fr., tant le compte Z._ "salaire A._" que la copie du certificat de salaire pour la déclaration d'impôt 2005 faisaient état d'un salaire brut de 279'250 fr., de sorte que c'était à juste titre que la différence de 172'450 fr. avait été reprise par l'intimée au titre de salaires non annoncés; s'agissant du montant de 16'436 fr. (revalorisé en salaire brut à hauteur de 17'310 fr.), la juridiction cantonale a retenu que ce montant figurant dans la comptabilité de la société sous le compte W._ "sous-traitants" provenait d'une activité indépendante de A._, de sorte qu'il serait pris en considération dans le cadre de la décision de cotisations personnelles qui devait être rendue par la Caisse de compensation AVS du canton du Valais sur la base des données fournies par les autorités fiscales et qu'il ne saurait être pris en compte une seconde fois sur le plan de l'AVS comme salaire provenant d'une activité dépendante. X._ SA et A._ ont interjeté conjointement un recours en matière de droit public contre ce jugement, en concluant, sous suite de dépens, à son annulation ainsi qu'à celle de la décision sur opposition du 12 juin 2008, et, à titre subsidiaire, à la suspension de la cause "jusqu'au droit connu de la procédure fiscale", voire au renvoi de la cause au Tribunal cantonal vaudois pour complément d'instruction. Par arrêt du 28 juin 2010 (9C_396/2010), le Tribunal fédéral a prononcé que le recours était irrecevable, le jugement entrepris constituant une décision préjudicielle et les conditions de recevabilité du recours (art. 93 al. 1 let. a et b LTF) n'étant pas remplies. A.c Suite au jugement de renvoi du 9 février 2010 (AVS 29/08 - 7/2010) rendu par la juridiction cantonale vaudoise, la caisse a rectifié la reprise de salaires de 369'225 fr. en la fixant à 300'346 fr. 35 et supprimé la reprise de 17'310 fr. en ce qui concerne A._, en comptabilisant sur son compte les rectifications correspondantes (- 68'878 fr. 65) pour 2004 et (- 17'310 fr.) pour 2005. Elle a établi le 17 août 2010 un décompte complémentaire 2005 en ce qui concerne X._ SA, en fixant les cotisations à 93'360 fr. 10 (valeur 31.07.2010) et les intérêts moratoires à 9'888 fr. 95 (valeur 31.07.2010) et en portant au crédit de cette société la somme de 11'730 fr. 65 (valeur 17.08.2010) sous la forme d'une écriture de compensation. Par décision du 18 août 2010, la caisse a communiqué à X._ SA le décompte complémentaire selon rapport de contrôle n° 451bis et réclamé à cette société le versement d'un montant de 91'518 fr. 40 (93'360 fr. 10 + 9'888 fr. 95 - 11'730 fr. 65). Le 13 septembre 2010, la société X._ SA a formé opposition contre cette décision. Par décision du 1er octobre 2010, la caisse a rejeté l'opposition. B. Dans un mémoire du 1er novembre 2010, la société X._ SA a formé recours contre cette décision devant le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, en concluant, sous suite de dépens, à son annulation. Requérant la production complète du dossier de la caisse et la mise en oeuvre d'une expertise comptable, elle demandait à titre subsidiaire que la cause soit renvoyée à la caisse pour complément d'instruction. Dans sa réponse du 6 décembre 2010, la Caisse AVS de la Fédération patronale vaudoise a conclu au rejet du recours. Par lettre du 18 février 2011, A._ s'est déterminé comme tiers intéressé à la procédure, en concluant, sous suite de dépens, à l'annulation de la décision sur opposition du 1er octobre 2010. Par jugement du 20 juillet 2011, la juridiction cantonale a rejeté le recours. C. La société X._ SA et A._ interjettent un recours en matière de droit public contre ce jugement, en concluant, sous suite de frais et dépens, à l'annulation du jugement du 9 février 2010 et de la décision sur opposition du 12 juin 2008. Par courrier du 5 septembre 2011, le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, a indiqué qu'il faisait parvenir au Tribunal fédéral le dossier complet de la cause. Par ordonnance du 3 juillet 2012, le Tribunal fédéral a invité la Caisse AVS de la Fédération patronale vaudoise à produire le dossier pour le cas où l'intégralité des pièces n'aurait pas été versée au dossier. Par lettre du 4 juillet 2012, la caisse a répondu que l'intégralité des pièces du dossier avait été versée au dossier du Tribunal cantonal du canton de Vaud, Cour des assurances sociales. Par lettre du 19 juillet 2012, le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, a déposé ses observations. Dans le délai imparti pour se déterminer, la Caisse AVS de la Fédération patronale vaudoise a conclu au maintien du jugement du 20 juillet 2011. Le 24 août 2012, la société X._ SA et A._ ont déposé leurs observations. 