Sachverhalt: Sachverhalt: A. Mit Verfügung vom 25. März 2004 verpflichtete die Ausgleichskasse des Kantons Zürich H._ in seiner Eigenschaft als Organ einer juristischen Person zur Bezahlung von Schadenersatz für entgangene Sozialversicherungsbeiträge. Auf die dagegen erhobene Einsprache trat die Verwaltung mit Einspracheentscheid vom 7. Februar 2005 wegen verspäteter Eingabe nicht ein. A. Mit Verfügung vom 25. März 2004 verpflichtete die Ausgleichskasse des Kantons Zürich H._ in seiner Eigenschaft als Organ einer juristischen Person zur Bezahlung von Schadenersatz für entgangene Sozialversicherungsbeiträge. Auf die dagegen erhobene Einsprache trat die Verwaltung mit Einspracheentscheid vom 7. Februar 2005 wegen verspäteter Eingabe nicht ein. B. Dagegen liess H._ Beschwerde beim Sozialversicherungsgericht des Kantons Zürich erheben und beantragen, die versäumte Einsprachefrist sei wiederherzustellen. Das kantonale Gericht wies die Beschwerde mit Entscheid vom 8. Juni 2005 ab, da das Fristwiederherstellungsgesuch verspätet eingereicht worden sei. B. Dagegen liess H._ Beschwerde beim Sozialversicherungsgericht des Kantons Zürich erheben und beantragen, die versäumte Einsprachefrist sei wiederherzustellen. Das kantonale Gericht wies die Beschwerde mit Entscheid vom 8. Juni 2005 ab, da das Fristwiederherstellungsgesuch verspätet eingereicht worden sei. C. H._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheides und des Einspracheentscheides sei ihm die versäumte Frist für die Einsprache neu anzusetzen. Die Ausgleichskasse schliesst sinngemäss auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet. 