Sachverhalt: A. Der 1965 geborene A._ reiste 1976 vom Libanon in die Schweiz ein. Seither war er zwei Monate im Jahr 1985 und je einen Monat in den Jahren 1986 und 1990 erwerbstätig. Am 17. März 2000 meldete er sich bei der Invalidenversicherung zum Leistungsbezug (Umschulung, Rente) an. Die IV-Stelle des Kantons Zürich verneinte mit Verfügungen vom 16. Januar und 31. Oktober 2002 den Anspruch auf berufliche Massnahmen und mit Verfügung vom 25. Juni 2004 denjenigen auf eine Invalidenrente, da die versicherungsmässigen Voraussetzungen nicht erfüllt seien. Die gegen die Verfügung vom 25. Juni 2004 erhobene Einsprache wies die IV-Stelle mit Einspracheentscheid vom 8. Oktober 2004 ab. Eine dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 28. Februar 2006 in dem Sinne gut, als es den Einspracheentscheid aufhob und die Sache mit der Feststellung, dass die versicherungsmässigen Voraussetzungen für den Bezug einer Invalidenrente erfüllt sind, zu weiteren Abklärungen bezüglich Vorliegens eines psychischen Gesundheitsschadens an die IV-Stelle zurückwies. Gestützt auf das daraufhin eingeholte Gutachten des Dr. med. B._, Psychiatrie und Psychotherapie FMH, vom 7. April 2007 verneinte die IV-Stelle mit Verfügung vom 26. November 2007 nach durchgeführtem Vorbescheidverfahren einen Rentenanspruch wegen Fehlens eines invalidisierenden Gesundheitsschadens. B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 30. Mai 2008 ab. Es auferlegte dem Beschwerdeführer Gerichtskosten in der Höhe von Fr. 700.- und gewährte ihm antragsgemäss die unentgeltliche Verbeiständung. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ unter Aufhebung des kantonalen Gerichtsentscheids die Zusprechung einer ganzen Invalidenrente, eventualiter die Rückweisung der Sache an die Vorinstanz zur Einholung eines psychiatrischen Obergutachtens beantragen. Zudem ersucht er um Aufhebung von Ziff. 2 des vorinstanzlichen Entscheids, gemäss welcher ihm die Gerichtskosten von Fr. 700.- auferlegt worden sind, um Verpflichtung der Vorinstanz zur Gewährung der unentgeltlichen Rechtspflege für das kantonale Verfahren sowie um Gewährung der unentgeltlichen Prozessführung und Verbeiständung für das vorliegende Verfahren. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Die Vorinstanz und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. 