Faits: A. V._ est affilié auprès de la Caisse cantonale vaudoise de compensation (ci-après: la caisse) en qualité de personne exerçant une activité indépendante dans le commerce immobilier depuis le 1er janvier 1978. Par deux décisions successives des 27 juillet et 14 décembre 2006, la caisse a fixé les cotisations de l'assurance-vieillesse et survivants (AVS) dues par l'assuré à 155'069 fr. 80 pour l'année 2003 et à 190'923 fr. 05 pour l'année 2004, en fonction du gain immobilier professionnel brut et des revenus locatifs bruts communiqués par l'Office d'impôt du district X._. Après que l'intéressé s'est opposé à ces décisions, la caisse a rendu une décision rectificative le 12 mars 2007, par laquelle il a annulé et remplacé ses précédents prononcés et fixé les cotisations à 134'036 fr. 80 pour 2003 et à 170'513 fr. 65 pour 2004, compte tenu de deux communications rectificatives de l'autorité fiscale selon lesquelles les revenus avaient été revus à la baisse. Le 2 avril 2007, l'administration a confirmé sa décision du 12 mars précédent. B. Statuant le 7 février 2008 sur le recours formé par l'assuré contre la décision sur opposition, le Tribunal des assurances du canton de Vaud l'a rejeté. C. V._ interjette un recours en matière de droit public contre le jugement cantonal, dont il demande l'annulation, en concluant au renvoi du dossier à la caisse pour nouvelle décision "dans le sens des considérants". La caisse conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. 