Sachverhalt: A. A.a Mit Verfügung vom 6. September 2004 sprach die IV-Stelle des Kantons St. Gallen dem 1963 geborenen M._ wegen lumbaler Beschwerden bei einem Invaliditätsgrad von 66 % eine Dreiviertelsrente zu. A.b Im Juni 2006 wurde ein Revisionsverfahren eingeleitet. Nach Einholung mehrerer Arztberichte und eines Gutachtens des Medizinischen Gutachtenzentrums X._ vom 2. Juli 2007 setzte die IV-Stelle mit Verfügung vom 10. April 2008 die bisherige Dreiviertelsrente ab 1. Juni 2008 auf eine halbe Rente herab, ausgehend von einem Invaliditätsgrad von 56 %. B. Die hiegegen eingereichte Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 25. November 2009 ab. C. Mit Beschwerde lässt M._ die Aufhebung des vorinstanzlichen Entscheides und die Ausrichtung einer ganzen Invalidenrente seit Juni 2006 beantragen. Eventualiter sei über Juni 2008 hinaus eine Dreiviertelsrente zuzusprechen, und subeventualiter sei die Angelegenheit zur Vornahme weiterer Abklärungen an die IV-Stelle zurückzuweisen. Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Stellungnahme. 