Sachverhalt: Sachverhalt: A. Mit Urteil vom 27. Dezember 2002 reduzierte das Eidgenössische Versicherungsgericht die von der IV-Stelle des Kantons Solothurn gegenüber F._ mit Verfügung vom 20. Dezember 2000 geltend gemachte Rückforderung von Fr. 68'236.75 infolge zu Unrecht ausbezahlter Betriebszulagen zwischen 1. Januar 1996 und 6. Juli 1999 auf Fr. 48'775.80 (I 273/02). Am 16. März 2004 stellte das Eidgenössische Versicherungsgericht fest, dass die IV-Stelle F._ für die Zeit von 1. Januar 1999 bis 9. Juni 2000 einen Verzugszins von 5 % auf dem Betrag von Fr. 90'891.50 für verspätet ausbezahlte Taggelder schulde (I 510/03). Die IV-Stelle verrechnete mit Verfügung vom 30. April 2004, bestätigt mit Einspracheentscheid vom 23. Juni 2004, die geschuldeten Verzugszinsen von Fr. 6'551.70 mit der noch ausstehenden Rückerstattungsforderung von Fr. 48'775.80, sodass F._ noch Fr. 42'224.10 schulde. A. Mit Urteil vom 27. Dezember 2002 reduzierte das Eidgenössische Versicherungsgericht die von der IV-Stelle des Kantons Solothurn gegenüber F._ mit Verfügung vom 20. Dezember 2000 geltend gemachte Rückforderung von Fr. 68'236.75 infolge zu Unrecht ausbezahlter Betriebszulagen zwischen 1. Januar 1996 und 6. Juli 1999 auf Fr. 48'775.80 (I 273/02). Am 16. März 2004 stellte das Eidgenössische Versicherungsgericht fest, dass die IV-Stelle F._ für die Zeit von 1. Januar 1999 bis 9. Juni 2000 einen Verzugszins von 5 % auf dem Betrag von Fr. 90'891.50 für verspätet ausbezahlte Taggelder schulde (I 510/03). Die IV-Stelle verrechnete mit Verfügung vom 30. April 2004, bestätigt mit Einspracheentscheid vom 23. Juni 2004, die geschuldeten Verzugszinsen von Fr. 6'551.70 mit der noch ausstehenden Rückerstattungsforderung von Fr. 48'775.80, sodass F._ noch Fr. 42'224.10 schulde. B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 8. September 2005 ab. B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 8. September 2005 ab. C. F._ führt Verwaltungsgerichtsbeschwerde und beantragt, unter Aufhebung des kantonalen Entscheids sei festzustellen, dass die Rückerstattung verwirkt sei und die IV-Stelle ihm den Verzugszins von Fr. 6551.70 zu bezahlen habe. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung. 