Sachverhalt: Sachverhalt: A. A.a Mit Verfügung vom 23. Juli 2003 und Einspracheentscheid vom 4. März 2004 lehnte die IV-Stelle des Kantons Solothurn das Gesuch der Eltern des 1988 geborenen B._ um Beiträge an dessen Sonderschulung im Kollegium X._ ab, weil diese Schule nicht über die erforderliche Anerkennung durch die Invalidenversicherung verfüge. Die gegen den Einspracheentscheid erhobene Beschwerde wurde mit Entscheid des Versicherungsgerichts des Kantons Solothurn vom 21. Februar 2005 abgewiesen. A.b Mit einer weiteren Verfügung vom 7. April 2005, bestätigt mit Einspracheentscheid vom 23. Mai 2005, verneinte die IV-Stelle den unter Hinweis auf eine Verletzung der Beratungspflicht durch die Verwaltung geltend gemachten Schadenersatzanspruch von B._. A.b Mit einer weiteren Verfügung vom 7. April 2005, bestätigt mit Einspracheentscheid vom 23. Mai 2005, verneinte die IV-Stelle den unter Hinweis auf eine Verletzung der Beratungspflicht durch die Verwaltung geltend gemachten Schadenersatzanspruch von B._. B. Das Versicherungsgericht des Kantons Solothurn wies auch die gegen den Einspracheentscheid vom 23. Mai 2005 eingereichte Beschwerde ab (Entscheid vom 27. Oktober 2006). B. Das Versicherungsgericht des Kantons Solothurn wies auch die gegen den Einspracheentscheid vom 23. Mai 2005 eingereichte Beschwerde ab (Entscheid vom 27. Oktober 2006). C. Hiegegen führen die Eltern von B._ für ihren Sohn Verwaltungsgerichtsbeschwerde mit dem Antrag auf Zusprechung von Schadenersatz in der Höhe der durch den Aufenthalt im Kollegium X._ angefallenen Kosten von insgesamt Fr. 57'780.- (Fr. 28'890.- pro Schuljahr) oder eines angemessenen Teilbetrages. Während die IV-Stelle auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 