Sachverhalt: A. J._ war seit 3. April 1988 mit V._ verheiratet, der als Arbeitnehmer der X._ AG bei der PK-SBV Pensionskasse Schweizerischer Baumeisterverband vorsorgeversichert war. Am 7. Oktober 2003 reichte sie gegen ihren Ehemann beim Bezirksgericht die Scheidungsklage ein. Am 27. Januar 2004 fand die Hauptverhandlung statt. Mit Urteil vom 3. März 2005 sprach das Gemeindegericht in Y._, Republik Serbien, die Scheidung aus und regelte das Sorgerecht über den noch minderjährigen Sohn (geboren 1988). Mit Eingabe vom 7. September 2005 beantragte J._ beim Bezirksgericht, die Rechtsbegehren ihrer Scheidungsklage in Bezug auf den Unterhaltsbeitrag, die Teilung der Austrittsleistung der Vorsorgeeinrichtung und die Abgeltung der güterrechtlichen Ansprüche seien im Sinne einer Ergänzungsklage zu entscheiden. Am 2. Januar 2006 verstarb V._. Daraufhin schrieb das Bezirksgericht das Scheidungsverfahren mit Verfügung vom 16. Februar 2006 als gegenstandslos ab. B. Am 10. Januar 2007 leitete J._ Klage gegen die Pensionskasse Schweizerischer Baumeisterverband ein mit dem Antrag, diese sei zu verpflichten, ihr die Hälfte der nach dem Freizügigkeitsgesetz für die Ehedauer zu ermittelnden Austrittsleistung ihres früheren Ehemannes abzüglich der Hälfte der während der Ehe geäufneten eigenen Austrittsleistung auf ihr Freizügigkeitskonto zu überweisen. Mit Entscheid vom 27. März 2008 trat das Sozialversicherungsgericht des Kantons Zürich auf die Klage nicht ein. C. J._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des angefochtenen Entscheides sei die Sache an die Vorinstanz zurückzuweisen. Die Pensionskasse Schweizerischer Baumeisterverband verweist auf ihre Klageantwort in erstinstanzlichen Verfahren. Das Bundesamt für Sozialversicherungen (BSV) schliesst auf Abweisung der Beschwerde. 