Sachverhalt: A. Der 1971 geborene T._ meldete sich am 16. März 2006 insbesondere aufgrund von Rückenschmerzen (Diskushernienoperation L5/S1 li am 11. August 2005) bei der Invalidenversicherung zum Leistungsbezug an. Nach medizinischen und erwerblichen Abklärungen wies die IV-Stelle des Kantons Zürich mit Verfügung vom 23. April 2007 das Rentenbegehren mangels rentenbegründender Invalidität ab. B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 3. September 2007 ab. C. Der Versicherte lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, in Aufhebung des kantonalen Gerichtsentscheides sei ihm eine ganze Invalidenrente zuzusprechen; eventualiter sei die Sache zwecks weiterer medizinischer Abklärungen an die IV-Stelle zurückzuweisen. Zudem wird um Gewährung der unentgeltlichen Rechtspflege ersucht. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. D. Mit zusätzlichen Eingaben vom 8. November und 18. Dezember 2007 liess der Versicherte Berichte des Spitals X._ (vom 17., 20. und 31. Oktober 2007) sowie einen Verlaufsbericht des Dr. med. A._, Facharzt für Psychiatrie und Psychotherapie FMH, (vom 12. Dezember 2007) nachreichen. Am 23. Januar und 9. April 2008 wurden weitere Berichte des Spitals X._ (vom 16., 17. und 30. Januar 2008) eingereicht. 