Sachverhalt: A. Der 1965 geborene M._ war zuletzt als Stapelfahrer der Firma B._ AG erwerbstätig gewesen, als er sich am 21. Juni 2008 unter Hinweis auf einen am 24. Mai 2005 erlittenen Unfall bei der IV-Stelle des Kantons St. Gallen anmeldete und eine Rente beantragte. Nach medizinischen Abklärungen und Durchführung des Vorbescheidverfahrens verneinte die IV-Stelle mit Verfügung vom 9. März 2010 einen Rentenanspruch des Versicherten. B. Die von M._ hiegegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 15. Dezember 2011 in dem Sinne teilweise gut, als es dem Versicherten ab 1. Mai 2006 eine Viertelsrente der Invalidenversicherung zusprach. C. Mit Beschwerde beantragt die IV-Stelle des Kantons St. Gallen, es sei unter Aufhebung des kantonalen Gerichtsentscheides ihre rentenablehnende Verfügung vom 9. März 2010 zu bestätigen. Während M._ auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. 