Sachverhalt: Sachverhalt: A. M._, geboren 1931, bezog ab 1. Juni 1994 Zusatzleistungen zur AHV/IV. Nachdem das Amt für Zusatzleistungen (AZL) entdeckt hatte, dass er in Portugal über ein Bankkonto mit einem Saldo von Fr. 143'750.- (Stand 1999) verfügte, stellte es die Ausrichtung der Zusatzleistungen mit in Rechtskraft erwachsener Verfügung vom 20. September 2000 ab 1. Juli 1999 ein, forderte von ihm die seit Juni 1994 zu Unrecht bezogenen Leistungen im Betrag von Fr. 43'092.- zurück und wies gleichzeitig ein Erlassgesuch ab. Ein daraufhin eingeleitetes Betreibungsverfahren führte am 24. März 2003 zu einem Verlustschein. Mit rechtskräftigem Entscheid vom 31. Oktober 2003 stellte das Sozialversicherungsgericht des Kantons Zürich fest, dass M._ aufgrund der Rückerstattungsverfügung verpflichtet ist, dem AZL Fr. 43'092.- zurückzuerstatten. Am 20. Oktober 2004 verfügte die Ausgleichskasse in Gutheissung des entsprechenden Gesuches des AZL, die Rückerstattungsforderung werde mit der laufenden Altersrente von M._ von Fr. 1'485.- im Betrag von monatlich Fr. 500.- verrechnet. Daran hielt sie mit Einspracheentscheid vom 28. Dezember 2005 fest. A. M._, geboren 1931, bezog ab 1. Juni 1994 Zusatzleistungen zur AHV/IV. Nachdem das Amt für Zusatzleistungen (AZL) entdeckt hatte, dass er in Portugal über ein Bankkonto mit einem Saldo von Fr. 143'750.- (Stand 1999) verfügte, stellte es die Ausrichtung der Zusatzleistungen mit in Rechtskraft erwachsener Verfügung vom 20. September 2000 ab 1. Juli 1999 ein, forderte von ihm die seit Juni 1994 zu Unrecht bezogenen Leistungen im Betrag von Fr. 43'092.- zurück und wies gleichzeitig ein Erlassgesuch ab. Ein daraufhin eingeleitetes Betreibungsverfahren führte am 24. März 2003 zu einem Verlustschein. Mit rechtskräftigem Entscheid vom 31. Oktober 2003 stellte das Sozialversicherungsgericht des Kantons Zürich fest, dass M._ aufgrund der Rückerstattungsverfügung verpflichtet ist, dem AZL Fr. 43'092.- zurückzuerstatten. Am 20. Oktober 2004 verfügte die Ausgleichskasse in Gutheissung des entsprechenden Gesuches des AZL, die Rückerstattungsforderung werde mit der laufenden Altersrente von M._ von Fr. 1'485.- im Betrag von monatlich Fr. 500.- verrechnet. Daran hielt sie mit Einspracheentscheid vom 28. Dezember 2005 fest. B. Das Sozialversicherungsgericht des Kantons Zürich wies die hiegegen erhobene Beschwerde mit Entscheid vom 27. April 2007 ab. B. Das Sozialversicherungsgericht des Kantons Zürich wies die hiegegen erhobene Beschwerde mit Entscheid vom 27. April 2007 ab. C. M._ lässt Beschwerde führen und beantragen, der angefochtene Entscheid sei aufzuheben und die Ausgleichskasse sei zu verpflichten, von einer Verrechnung der Altersrente mit der Rückforderung abzusehen. Eventualiter sei die Ausgleichskasse zu verpflichten, zusätzliche Abklärungen über sein Einkommen sowie das Bankkonto in Portugal zu treffen. Weiter ersucht er um Gewährung der unentgeltlichen Rechtspflege und zwar sowohl für das Einsprache- als auch die Beschwerdeverfahren vor Vorinstanz und vor Bundesgericht. C. M._ lässt Beschwerde führen und beantragen, der angefochtene Entscheid sei aufzuheben und die Ausgleichskasse sei zu verpflichten, von einer Verrechnung der Altersrente mit der Rückforderung abzusehen. Eventualiter sei die Ausgleichskasse zu verpflichten, zusätzliche Abklärungen über sein Einkommen sowie das Bankkonto in Portugal zu treffen. Weiter ersucht er um Gewährung der unentgeltlichen Rechtspflege und zwar sowohl für das Einsprache- als auch die Beschwerdeverfahren vor Vorinstanz und vor Bundesgericht. D. Das Bundesgericht wies das Gesuch um unentgeltlichen Rechtspflege mit Beschluss vom 2. November 2007 ab. 