Sachverhalt: A. Der 1964 geborene M._ meldete sich am 13. Dezember 2005 wegen eines Rückenleidens zum Bezug von Leistungen bei der Invalidenversicherung an. Die IV-Stelle des Kantons Zürich holte zur Abklärung der medizinischen Verhältnisse unter anderem den Bericht des Spitals X._ vom 24. Januar 2006 ein und sie veranlasste eine Begutachtung des Versicherten durch Dr. med. A._, Spezialarzt für Chirurgie und Neurochirurgie (Expertise vom 31. Mai 2006). Gestützt auf diese Abklärungen verneinte die IV-Stelle mit Verfügung vom 11. Dezember 2006 einen Anspruch auf berufliche Massnahmen. Am 16. Februar 2007 lehnte sie es verfügungsweise ab, eine Invalidenrente auszurichten. B. Die von M._ gegen die Verfügung vom 16. Februar 2007 eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 23. Oktober 2007 ab. C. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, es sei die IV-Stelle zu verpflichten, die gesetzlichen Leistungen, mindestens aber eine Viertelsrente auszurichten. Eventualiter sei die Sache zwecks Durchführung weiterer Abklärungen an die Verwaltung zurückzuweisen. Ihm sei zudem die unentgeltliche Rechtspflege zu gewähren. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme. 