Sachverhalt: A. Wegen der Folgen eines am 2. September 2003 erlittenen Auffahrunfalls mit Schleudertrauma der Halswirbelsäule (HWS) meldete sich der 1950 geborene M._ am 18. Januar 2006 bei der Invalidenversicherung zum Leistungsbezug an. Gestützt auf die getroffenen Abklärungen lehnte die IV-Stelle Luzern das Rentengesuch mit Verfügung vom 18. Februar 2008 ab. Die vom Versicherten hiegegen eingereichte Beschwerde hiess das Verwaltungsgericht des Kantons Luzern mit Entscheid vom 16. Juli 2009 in dem Sinne gut, dass es die Verwaltungsverfügung aufhob und die Sache an die IV-Stelle zurückwies, damit sie nach erfolgten Abklärungen im Sinne der Erwägungen über den Leistungsanspruch neu verfüge. In der Folge holte die IV-Stelle verschiedene Arztberichte ein. Mit Verfügung vom 28. Februar 2011 lehnte sie das Leistungsgesuch wiederum ab. B. M._ liess hiegegen Beschwerde einreichen mit den Anträgen auf Aufhebung der Verfügung und Abklärung des Sachverhalts im Sinne der gerichtlichen Erwägungen durch die Verwaltung und Erlass einer neuen Verfügung, eventuell auf Anordnung eines Gerichtsgutachtens mit anschliessender gerichtlicher Entscheidung. Im Laufe des Verfahrens reichte M._ mehrere Arztberichte ein. Mit Entscheid vom 27. Oktober 2011 wies das Verwaltungsgericht des Kantons Luzern die Beschwerde ab (Dispositiv-Ziffer 1). Die Gerichtskosten von Fr. 800.- auferlegte es den Parteien je zur Hälfte (Dispositiv-Ziffer 2), während es die IV-Stelle verpflichtete, dem Versicherten eine reduzierte Parteientschädigung von Fr. 500.- sowie die Kosten der privat eingeholten Berichte zu erstatten (Dispositiv-Ziffer 3). C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die IV-Stelle, ihre Kostenpflicht sei unter Aufhebung von Dispositiv-Ziffern 2 und 3 des vorinstanzlichen Entscheides zu verneinen. Während M._ auf Abweisung der Beschwerde schliessen lässt, unterstützt das Bundesamt für Sozialversicherungen (BSV) das Rechtsbegehren der IV-Stelle. 