Faits: Faits: A. G._, né en 1949, est propriétaire de biens immobiliers en Suisse, où il exerce l'activité de promoteur immobilier sous la forme d'une raison individuelle. Il exploite un bureau à M._, ainsi que l'hôtel X._ dans la même ville et l'hôtel Y._ à V._. Il participe, en qualité d'associé, dans une société en commandite dont le siège est en Allemagne. En tant qu'indépendant, G._ est affilié auprès de la caisse de compensation Hotela. Dans une communication à la caisse du 23 septembre 2004, l'Office d'impôt de Z._ a fixé le revenu de celui-ci à 1'631'282 fr. en 2001 et à 6'519'413 fr. en 2002 et le capital propre engagé dans l'entreprise à 210'811 fr. au 1er janvier 2003. En annexe à la communication, il indiquait que le découvert sur commandite simple en Allemagne était de 12'425'230 fr. Le 8 novembre 2004, la caisse a rendu trois décisions de cotisation en ce qui concerne G._. Dans la première, relative à la période du 1er janvier au 31 décembre 2001, elle a arrêté le revenu de celui-ci à 1'657'849 fr. et le capital propre engagé dans l'entreprise à 12'637'000 fr., fixant les cotisations personnelles pour cette période à 115'472 fr. 40 (y compris les frais administratifs). Dans la deuxième, relative à la période du 1er janvier au 31 mai 2002, elle a arrêté son revenu à 2'691'690 fr. et le capital propre engagé dans l'entreprise à 12'637'000 fr., fixant les cotisations personnelles pour cette période à 238'203 fr. (y compris les frais administratifs). Dans la troisième, relative à la période du 1er juin au 31 décembre 2002, elle a arrêté son revenu à 3'798'600 fr. et le capital propre engagé dans l'entreprise à 211'000 fr., fixant les cotisations personnelles pour cette période à 360'867 fr. (y compris les frais administratifs). Le 6 décembre 2004, G._ a formé opposition contre ces décisions. Par décision du 16 février 2005, la caisse a rejeté l'opposition. Par décision du 16 février 2005, la caisse a rejeté l'opposition. B. Le 18 mars 2005, G._ a formé recours contre cette décision devant le Tribunal des assurances du canton de Vaud, en concluant, sous suite de frais et dépens, à l'annulation de celle-ci. Faisant valoir qu'il exploitait deux entreprises différentes en Suisse et en Allemagne et que le capital propre investi en Suisse était de 17'573'384 fr. selon les valeurs fiscales 2001 et de 17'545'371 fr. selon les valeurs fiscales 2002, il demandait que les décisions de cotisations soient rectifiées dans ce sens. Dans sa réponse du 4 mai 2005, la caisse de compensation Hotela, concluant au rejet du recours, a fait valoir qu'il n'y avait pas de raisons de s'écarter des éléments déterminants communiqués par le fisc. Le 29 juin 2005, G._ a déposé ses observations, où il contestait la communication fiscale du 23 septembre 2004. Dans ses déterminations du 16 août 2005, la caisse, produisant une lettre de l'Office fédéral des assurances sociales du 15 août 2002 adressée à l'administration cantonale vaudoise des impôts, a indiqué qu'il appartenait au fisc de communiquer les données déterminantes, même lors du passage à la taxation annuelle postnumerando en 2001-2002. Par jugement du 12 juin 2006, la juridiction cantonale a rejeté le recours. Par jugement du 12 juin 2006, la juridiction cantonale a rejeté le recours. C. Le 10 octobre 2006, G._ a interjeté un recours de droit administratif contre ce jugement, en concluant, sous suite de frais et dépens, à l'annulation de celui-ci. Il invitait le Tribunal de céans à déterminer le capital propre engagé dans l'entreprise et le montant des cotisations dues en 2001 et 2002. La caisse de compensation Hotela a conclu au rejet du recours, ce qu'a proposé également l'Office fédéral des assurances sociales dans son préavis. 