Sachverhalt: Sachverhalt: A. W._ war seit 1978 als Psychologe in der Klinik X._ angestellt und damit bei der Kantonalen Pensionskasse Graubünden berufsvorsorgerechtlich versichert. Nach der Beendigung des Arbeitsverhältnisses Ende 1987 war er selbstständig erwerbstätig, verblieb jedoch als so genanntes selbstzahlendes Mitglied ("Selbstzahler") in der Pensionskasse. Im Rahmen des Wechsels der Pensionskasse vom Leistungs- zum Beitragsprimat per 1. Januar 2001 wurde dem Versicherten eine Übertrittsleistung respektive ein Anfangssparguthaben von Fr.192'834.- gutgeschrieben. W._ verlangte die Erhöhung dieses Betrags um Fr. 128'574.40, was die Kasse ablehnte. In der Folge konnte zwischen den Parteien keine Einigung erzielt werden. Im Rahmen des Wechsels der Pensionskasse vom Leistungs- zum Beitragsprimat per 1. Januar 2001 wurde dem Versicherten eine Übertrittsleistung respektive ein Anfangssparguthaben von Fr.192'834.- gutgeschrieben. W._ verlangte die Erhöhung dieses Betrags um Fr. 128'574.40, was die Kasse ablehnte. In der Folge konnte zwischen den Parteien keine Einigung erzielt werden. B. Am 23. April 2003 liess W._ Klage gegen den Kanton Graubünden erheben mit dem Rechtsbegehren, es sei der Beklagte zu verpflichten, ihm aus dem Primatswechsel per 1. Januar 2001 eine Nachleistung von Fr. 128'597.40 nebst Zins zu 5 % seit 1. Januar 2001 sowie einen zusätzlichen Betrag von Fr. 100'000.- nebst Zins zu 5 % seit 1. Januar 2001 zu bezahlen; eventualiter sei der Beklagte zu verpflichten, ihm den Mehrbetrag an Steuern zu erstatten, wenn diesem die Sondersteuer auf Kapitalabfindungen aus Vorsorge für den Nachzahlungsbetrag gemäss den zuvor gestellten Rechtsbegehren zum Ansatz von 100 % an Stelle der bis 31. Dezember 2001 anwendbaren 80 % belastet werde. Das Verwaltungsgericht des Kantons Graubünden wies die Klage ab, soweit darauf eingetreten wurde (Entscheid vom 30. September 2003). Das Verwaltungsgericht des Kantons Graubünden wies die Klage ab, soweit darauf eingetreten wurde (Entscheid vom 30. September 2003). C. W._ lässt Verwaltungsgerichtsbeschwerde führen. Er beantragt, es sei der Kanton Graubünden zu verpflichten, ihm aus dem Primatswechsel per 1. Januar 2001 eine Nachleistung von Fr. 128'597.40 nebst Zinsen zu 5 % seit 1. Januar 2001 zu bezahlen. Eventualiter sei der Beschwerdegegner zu verpflichten, die zu seinen Gunsten in die Pensionskasse einbezahlten Arbeitnehmer- und Arbeitgeberbeiträge von insgesamt Fr. 310'829.40 angemessen zu verzinsen, und somit auf dem Betrag von Fr. 155'414.70 (Mittelwert aller Einzahlungen) seit 1. Januar 1989 Zinsen von 3 % jährlich zu bezahlen, dies nebst Verzugszinsen von 5 % seit 1. Januar 2001, wobei der Vorbezug zwecks Förderung des Wohneigentums (WEF) vom 21. August 1996 über Fr. 100'000.- bei der Berechnung der Verzinsung angemessen zu berücksichtigen sei. Subeventualiter sei der Beschwerdegegner zu verpflichten, dem Beschwerdeführer die von ihm in die Pensionskasse einbezahlten Arbeitnehmerbeiträge von insgesamt Fr. 146'416.70 angemessen zu verzinsen, und somit auf dem Betrag von Fr. 73'208.35 (Mittelwert) seit 1. Januar 1989 Zinsen von 3 % jährlich zu bezahlen, dies nebst Verzugszinsen zu 5 % seit 1. Januar 2001, wobei der WEF-Vorbezug vom 21. August 1996 über Fr. 100'000.- bei der Berechnung der Verzinsung angemessen zu berücksichtigen sei. Falls zur Ermittlung der tatsächlichen Entscheidgrundlagen erforderlich, sei die Sache an die Vorinstanz zurückzuweisen. Der Kanton Graubünden schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung (BSV) deren teilweise Gutheissung beantragt. In einer ergänzenden Eingabe vom 24. April 2004 hält der Beschwerdeführer an den gestellten Anträgen fest. 