Sachverhalt: A. Die 1941 geborene G._ ist verheiratet. Seit 1. Februar 2004 beziehen sie und ihr vier Jahre älterer Ehemann je eine plafonierte Vollrente der Alters- und Hinterlassenenversicherung. Mit Verfügung vom 19. Oktober 2004 erhob die Ausgleichskasse des Kantons Bern bei G._ u.a. für 2003 Beiträge für Nichterwerbstätige in der Höhe von Fr. 10'100.40 zuzüglich eines Verwaltungskostenbeitrages von Fr. 202.-. Bemessungsgrundlage bildeten das eheliche Vermögen am Stichtag 31. Dezember 2003 sowie das Renteneinkommen des Ehemannes. G._ bezahlte den Betrag von Fr. 10'302.40. Gleichzeitig erhob sie aber Einsprache, welche die Ausgleichskasse mit Entscheid vom 12. November 2004 abwies u.a. mit dem Hinweis, die angefochtenen Verfügungen dienten lediglich der provisorischen Beitragsfestsetzung. Mit Schreiben vom 10. September 2005 ersuchte G._ unter Beilage einer Kopie der Verfügung der Ausgleichskasse "Versicherung" vom 10. März 2005 über die von ihrem Ehemann für 2003 zu entrichtenden persönlichen Beiträge von Fr. 3170.40 um Erlass einer beschwerdefähigen Verfügung über allfällige Nichterwerbstätigenbeiträge für 2003. Am 27. September 2005 erliess die kantonale Ausgleichskasse eine gleich wie diejenige vom 27. Oktober 2004 lautende Beitragsverfügung. Mit Einspracheentscheid vom 4. November 2005 bestätigte sie die Beitragspflicht in der Höhe von Fr. 10'302.40. B. Die Beschwerde der G._ wies die Sozialversicherungsrechtliche Abteilung des Verwaltungsgerichts des Kantons Bern mit Entscheid vom 28. Februar 2006 ab. C. G._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, der kantonale Gerichtsentscheid sei aufzuheben und die Ausgleichskasse sei zu verpflichten, Fr. 10'302.40 zurückzuerstatten. Die kantonale Ausgleichskasse beantragt die Abweisung der Verwaltungsgerichtsbeschwerde, das Bundesamt für Sozialversicherungen (BSV) deren Gutheissung. D. Am 26. Januar 2007 hat die II. sozialrechtliche Abteilung des Bundesgerichts (bis 31. Dezember 2006: Eidgenössisches Versicherungsgericht) den Fall parteiöffentlich beraten. 