Sachverhalt: Sachverhalt: A. Der 1947 geborene deutsche Staatsangehörige S._ war ab Juni 1971 als Beamter der Bank für Internationalen Zahlungsausgleich (BIZ) mit Sitz in Basel tätig. Auf den 1. Oktober 1999 trat er gesundheitsbedingt aus dem Personalbestand der BIZ aus, welche ihm seither eine Dienstunfähigkeitsrente ausrichtet. Wohnhaft blieb er in der Schweiz. Mit Verfügungen vom 29. Mai 2002 erfasste die Ausgleichskasse des Kantons Solothurn S._ ab 1. August 1999 - dem irrtümlich anstelle des 1. Oktober 1999 angenommenen Austritt aus der BIZ - als Nichterwerbstätigen, und sie setzte auf der Grundlage der kapitalisierten Dienstunfähigkeitsrente und des Vermögens die von ihm zu entrichtenden AHV/IV/EO-Beiträge (einschliesslich Verwaltungskostenbeitrag) ab diesem Zeitpunkt bis 31. Dezember 2000 sowie provisorisch für die Jahre 2001 und 2002 fest. Sie stellte ihm hiefür sowie für Verzugszinsen am 29. Mai und 12. Juni 2002 Rechnung. Mit Verfügungen vom 29. Mai 2002 erfasste die Ausgleichskasse des Kantons Solothurn S._ ab 1. August 1999 - dem irrtümlich anstelle des 1. Oktober 1999 angenommenen Austritt aus der BIZ - als Nichterwerbstätigen, und sie setzte auf der Grundlage der kapitalisierten Dienstunfähigkeitsrente und des Vermögens die von ihm zu entrichtenden AHV/IV/EO-Beiträge (einschliesslich Verwaltungskostenbeitrag) ab diesem Zeitpunkt bis 31. Dezember 2000 sowie provisorisch für die Jahre 2001 und 2002 fest. Sie stellte ihm hiefür sowie für Verzugszinsen am 29. Mai und 12. Juni 2002 Rechnung. B. Die gegen diese Verwaltungsakte erhobene Beschwerde hiess das Versicherungsgericht des Kantons Solothurn nach zweifachem Schriftenwechsel in dem Sinne teilweise gut, dass es die Beitragsverfügung für das Jahr 1999 aufhob mit der Feststellung, S._ unterstehe erst ab 1. Oktober 1999 als Nichterwerbstätiger der Beitragspflicht. Im Übrigen wies es die Beschwerde ab, soweit es darauf eintrat (Entscheid vom 24. Februar 2003). B. Die gegen diese Verwaltungsakte erhobene Beschwerde hiess das Versicherungsgericht des Kantons Solothurn nach zweifachem Schriftenwechsel in dem Sinne teilweise gut, dass es die Beitragsverfügung für das Jahr 1999 aufhob mit der Feststellung, S._ unterstehe erst ab 1. Oktober 1999 als Nichterwerbstätiger der Beitragspflicht. Im Übrigen wies es die Beschwerde ab, soweit es darauf eintrat (Entscheid vom 24. Februar 2003). C. Mit Verwaltungsgerichtsbeschwerde lässt S._ beantragen, in teilweiser Aufhebung des kantonalen Entscheides sei festzustellen, dass er für einen der jeweiligen maximalen Invalidenrente der schweizerischen Invalidenversicherung entsprechenden Teilbetrag der Dienstunfähigkeitsrente nicht beitragspflichtig sei, und es sei die Ausgleichskasse anzuweisen, die auf diesen Teilbetrag entfallenden Sozialversicherungsbeiträge von ihren Rechnungen abzuziehen. Weiter wird darum ersucht, der Verwaltungsgerichtsbeschwerde die aufschiebende Wirkung zu erteilen. Die Ausgleichskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung hat sich nicht vernehmen lassen. 