Sachverhalt: A. Der 1942 geborene M._, verheiratet mit der 1945 geborenen F._, war bis zu seiner vorzeitigen Pensionierung per 31. Januar 2002 als Mitglied der Direktion der Bank X._ tätig. Anschliessend nahm er an der philosophisch-historischen Fakultät der Universität Y._ ein Zweitstudium auf, welches er im Oktober 2007 mit dem Lizentiat abschloss. Daneben war er als unabhängiger Vermögensverwalter tätig. Als Student entrichtete er jeweils AHV-Beiträge im Umfang des jährlichen Mindestbeitrages. Gestützt auf eine Anmeldung von F._ für Nichterwerbstätige erhob die Ausgleichskasse des Kantons Bern (hiernach: die Ausgleichskasse) von M._ und F._ rückwirkend ab dem 1. Januar 2003 AHV-/IV-/EO-Beiträge als Nichterwerbstätige; mit insgesamt zehn Verfügungen je vom 4. September 2007 setzte die Ausgleichskasse die Beitragspflicht sowohl von M._ als auch von F._ für die Beitragsperioden 2003 bis 2006 jährlich auf Fr. 10'302.40 und für das erste Quartal der Beitragsperiode 2007 auf Fr. 2'575.60, total auf Fr. 87'570.40 fest. Dagegen erhob der Versicherte Einsprache und beantragte die Überprüfung seiner Beitragspflicht und derjenigen seiner Ehefrau insbesondere unter Berücksichtigung seiner selbstständigen Erwerbstätigkeit als unabhängiger Vermögensverwalter. Nach Vornahme weiterer Abklärungen wies die Ausgleichskasse die Einsprache mit zwei Einspracheentscheiden je vom 28. Januar 2010 mit der Begründung ab, bei der Tätigkeit von M._ als unabhängiger Vermögensverwalter handle es sich nicht um eine dauernde volle Erwerbstätigkeit im Sinne der Gesetzgebung, weshalb er als Nichterwerbstätiger zu qualifizieren sei. B. Mit Entscheid vom 31. Mai 2010 wies das Verwaltungsgericht des Kantons Bern die von M._ und F._ eingereichten Beschwerden ab. C. M._ und F._ führen Beschwerde in öffentlich-rechtlichen Angelegenheiten und stellen die Rechtsbegehren, in Aufhebung des kantonalen Entscheides und des Einspracheentscheides seien sie von allen nachträglich geltend gemachten AHV-Beitragsverpflichtungen zu befreien. Die Ausgleichskasse beantragt die Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet. 