Sachverhalt: A. Am 16. August 2000 meldete sich der 1953 geborene P._ unter Hinweis auf seine Rückenbeschweden bei der IV-Stelle Basel-Stadt zum Leistungsbezug an. Auf dem Anmeldeformular erklärte er, bereits im Jahre 1987 ein Leistungsgesuch eingereicht zu haben. Ursprünglich habe er den Beruf des Maurers erlernt, seit 1992 sei er als Hilfsarbeiter bei der K._ AG erwerbstätig gewesen. Mit Vorbescheid vom 31. Oktober 2002 stellte die IV-Stelle dem Versicherten in Aussicht, einen Rentenanspruch bei einem Invaliditätsgrad von 31 % zu verneinen. Da der Versicherte damit nicht einverstanden war, veranlasste die Versicherung weitere medizinische Abklärungen. Mit Verfügung vom 24. November 2006 bestätigte die IV-Stelle ihren Vorbescheid bezüglich der Verneinung eines Rentenanspruches. Mit Verfügung vom 27. April 2006 und Einspracheentscheid vom 12. Februar 2007 schloss die IV-Stelle zudem die Arbeitsvermittlung ab. B. Die von P._ gegen diese beiden Entscheide erhobenen Beschwerden wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 19. Dezember 2007 ab. C. Mit Beschwerde beantragt P._, die IV-Stelle Basel-Stadt sei unter Aufhebung des kantonalen Gerichtsentscheides zu verpflichten, die Rentenfrage neu zu prüfen und die Arbeitsvermittlung fortzusetzen. Gleichzeitig stellt er ein Gesuch um unentgeltliche Rechtspflege für das Verfahren vor dem Bundsgericht. Während die IV-Stelle Basel-Stadt auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 