Sachverhalt: A. A._ (geboren 1947) war von April 1981 bis 31. Dezember 2001 als Bauarbeiter bei der Firma X._ AG, Bauunternehmung, in Y._ tätig. Am 21. Januar 2002 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 21. Oktober 2002 verneinte die IV-Stelle des Kantons St. Gallen nach Ermittlung eines Invaliditätsgrades von 8.91 % den Anspruch auf eine Invalidenrente. Die hiegegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 29. April 2003 teilweise gut, hob die angefochtene Verfügung auf und wies die Sache zur Abklärung der Arbeitsfähigkeit in einer leidensadaptierten Tätigkeit und zur Neuverfügung an die IV-Stelle zurück. Nach Einholen eines orthopädischen Gutachtens vom 5. November 2003 sprach die IV-Stelle mit Verfügung vom 4. Juni 2004 dem Versicherten bei einem Invaliditätsgrad von 41 % ab 1. Dezember 2001 unter Annahme eines Härtefalles eine halbe Invalidenrente zu. Nachdem der Versicherte hiegegen Einsprache erhoben hatte, widerrief die IV-Stelle die Rentenverfügung und veranlasste eine weitere medizinische und eine psychiatrische Abklärung des Versicherten. Gestützt auf die neuen Gutachten vom 12. und 31. Oktober 2005 hielt sie mit Verfügung vom 6. Dezember 2005 bei einem Invaliditätsgrad von 42 % an der bisherigen Invalidenrente fest und wies das Gesuch um deren Erhöhung ab. Dies bestätigte sie mit Einspracheentscheid vom 11. Mai 2006, wobei sie bei der Invaliditätsbemessung einen Abzug von 10 % vornahm. B. Die hiegegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 24. Mai 2007 teilweise gut und sprach dem Versicherten ab 1. Dezember 2001 eine halbe Invalidenrente zu. Im Unterschied zur IV-Stelle erhöhte es den Leidensabzug auf 25 %, was zu einem Invaliditätsgrad von gerundet 51 % führte. C. Die IV-Stelle des Kantons St. Gallen führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides seien ihre Verfügung vom 6. Dezember 2005 und ihr Einspracheentscheid vom 11. Mai 2006 zu bestätigen. A._ lässt die Abweisung der Beschwerde und die Gewährung der unentgeltlichen Rechtspflege beantragen. Das Bundesamt für Sozialversicherungen schliesst auf Gutheissung der Beschwerde. 