Sachverhalt: A. Der 1950 geborene A._ bezieht mit Wirkung ab 1. April 2005 eine halbe Rente der Invalidenversicherung und war bei der Ausgleichskasse des Kantons Graubünden (nachfolgend: Ausgleichskasse) ab 1. Januar 2007 als Nichterwerbstätiger erfasst. Aufgrund von Steuermeldungen für die Jahre 2008 und 2009, wonach er ein Einkommen aus selbstständiger Erwerbstätigkeit von Fr. 483'093.- resp. Fr. 1'109'472.- erzielt hatte, erfasste ihn die Ausgleichskasse am 18. Januar 2013 zwangsweise per 1. Januar 2008 als Selbstständigerwerbender. Mit zwei Verfügungen vom 24. Januar 2013 setzte die Ausgleichskasse die AHV-/IV-/EO-Beiträge (inkl. Verwaltungskosten) für 2008 auf Fr. 43'440.- und für 2009 auf Fr. 114'611.40 fest. Zudem verfügte sie am 28. Januar 2013 Verzugszinsen für dieselben Beitragsjahre in der Höhe von Fr. 8'856.95 und Fr. 17'637.40. Auf Einsprache hin bestätigte die Ausgleichskasse mit Einspracheentscheid vom 7. Juni 2013 die Beitrags- und Verzugszinsverfügungen. B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 11. März 2014 ab, soweit es darauf eintrat. C. A._ erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, der angefochtene Entscheid sowie der Einspracheentscheid vom 7. Juni 2013 seien aufzuheben und es sei festzustellen, dass er in den Jahren 2008 und 2009 aus einfachen Gesellschaften kein AHV-pflichtiges Einkommen als Selbstständigerwerbender erzielt habe. 