Sachverhalt: A. Mit Verfügung vom 26. Februar 2002 sprach die Ausgleichskasse der Aarg. Industrie- und Handelskammer der am 5. Februar 1939 geborenen, in S._ wohnhaften D._ ab 1. März 2002 eine Altersrente in der Höhe von Fr. 1545.- zu. Auf denselben Zeitpunkt wurde die Altersrente ihres Ehegatten neu festgesetzt. Auf entsprechende Aufforderung der Verbandsausgleichskasse meldete sich D._ am 6. März 2002 bei der Ausgleichskasse des Kantons Solothurn als Nichterwerbstätige an. Gemäss ihren Angaben war sie bis Ende 1998 erwerbstätig gewesen. Nach Abklärungen verfügte die kantonale Ausgleichskasse am 8. Mai 2002 Beiträge für Nichterwerbstätige (einschliesslich Verwaltungskostenbeitrag) in der Höhe von insgesamt Fr. 15'263.80 für 1997, 1999 und 2000 sowie provisorisch für 2001 und Januar/Februar 2002. Auf der am folgenden Tag zugestellten Abrechnung waren überdies Verzugszinsen von Fr. 833.- aufgeführt. B. D._ reichte beim Versicherungsgericht des Kantons Solothurn Beschwerde ein und beantragte, die Verfügung der Ausgleichskasse der Aarg. Industrie- und Handelskammer vom 26. Februar 2002 sei zu respektieren und alle nachträglich gestellten Forderungen der kantonalen Ausgleichskasse seien abzulehnen. Die Ausgleichskasse des Kantons Solothurn schloss auf Abweisung des Rechtsmittels. In den weiteren Rechtsschriften hielten die Parteien an ihren Standpunkten fest. Mit Entscheid vom 19. März 2003 wies das solothurnische Versicherungsgericht die Beschwerde ab. C. D._ führt Verwaltungsgerichtsbeschwerde mit dem Rechtsbegehren, die Beschwerde gegen die Verfügungen der Ausgleichskasse des Kantons Solothurn vom 8. Mai 2002 sei gutzuheissen und die Rentenverfügung der Ausgleichskasse der Aarg. Industrie- und Handelskammer vom 26. Februar 2002 sei zu respektieren; eventualiter sei die Sache zur Abklärung der Zuständigkeit "für Beiträge und Renten meiner AHV und/oder Entscheid über Rentenhöhe ohne Nachzahlung" zurückzuweisen. Die kantonale Ausgleichskasse beantragt die Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet. 