Sachverhalt: A. Für die wirtschaftlichen Folgen eines Schleudertraumas der Halswirbelsäule, das sie am 4. August 1990 bei einem Auffahrunfall erlitten hatte, erhielt L._ gemäss Verfügung der IV-Stelle des Kantons Zürich vom 24. Mai 1995 rückwirkend ab 1. März 1994 bei einem Invaliditätsgrad von 100 % eine ganze Invalidenrente zugesprochen. Später folgten die Zusatzrente für den Ehegatten und eine Kinderrente. Diese Rentenzusprechungen blieben unangefochten und wurden im Rahmen von Revisionen wiederholt bestätigt. Ab 1. Mai 1996 bezog L._ überdies eine Komplementärrente der Zürich Versicherungs-Gesellschaft, bei welcher sie zum Zeitpunkt der Auffahrkollision gegen Unfälle versichert gewesen war. Nachdem die Motorfahrzeughaftpflichtversicherung L._ hatte observieren lassen, erstattete sie am 16. März 2000 Strafanzeige wegen Betrugs. Mit Urteil vom 30. März 2006 wurde die Versicherte vom Bezirksgericht des Betruges schuldig gesprochen und zu einer bedingten Gefängnisstrafe von 18 Monaten verurteilt. Aufgrund der Verurteilung hob die IV-Stelle die ursprünglich zugesprochene ganze Invalidenrente mit Verfügung vom 6. April 2006 wiedererwägungsweise auf und stellte die Ausrichtung der laufenden Rente mit sofortiger Wirkung ein. Mit einer weiteren Verfügung vom 26. April 2006 forderte die IV-Stelle zu Unrecht ausgerichtete Leistungen in der Höhe von Fr. 350'230.- zurück. Die gegen die beiden Verfügungen erhobenen Einsprachen wies die IV-Stelle mit Entscheid vom 18. August 2006 ab. Mit einer separaten Verfügung (vom 19. September 2006) lehnte die IV-Stelle zudem das Gesuch von L._ um unentgeltliche Verbeiständung im Verwaltungsverfahren ab, weil sie das eingeleitete Einspracheverfahren als aussichtslos qualifizierte. B. L._ liess gegen den Einspracheentscheid und die Verfügung betreffend Ablehnung der unentgeltlichen Verbeiständung Beschwerde führen. Das Sozialversicherungsgericht des Kantons Zürich vereinigte die beiden Verfahren. Es sistierte den Prozess, bis das Strafurteil mit Ausfällung des Urteils des Bundesgerichts in der Strafsache vom 11. Oktober 2007 rechtskräftig geworden war. Mit Entscheid vom 4. April 2008 wies das Sozialversicherungsgericht die Beschwerden und auch das von der Versicherten gestellte Gesuch um unentgeltliche Prozessführung und Verbeiständung ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt L._ beantragen, der vorinstanzliche Entscheid sei insoweit aufzuheben, als ihr die unentgeltliche Rechtspflege verweigert wurde, und es sei ihr für das vereinigte Beschwerdeverfahren vor dem Sozialversicherungsgericht die unentgeltliche Prozessführung und Verbeiständung zu gewähren. Sodann sei ihr die unentgeltliche Prozessführung und Verbeiständung auch für das Einspracheverfahren zu gewähren. Ferner ersucht sie um die Bewilligung der unentgeltlichen Rechtspflege für das Verfahren vor dem Bundesgericht. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 