Sachverhalt: A. Der 1951 geborene D._ arbeitete bis am 23. April 2004 als Maurer bei der Firma W._ AG und meldete sich am 31. August 2004 wegen diverser, vor allem rheumatologischer Beschwerden bei der Invalidenversicherung zum Leistungsbezug an. Die Sozialversicherungsanstalt des Kantons St. Gallen, IV-Stelle, holte verschiedene Arztberichte ein und liess den Versicherten bei der Medas polydisziplinär abklären. Gestützt auf das Gutachten vom 7. April 2006 verneinte die IV-Stelle mit Verfügung vom 9. Juni 2006 einen Anspruch des D._ auf eine Invalidenrente mangels eines leistungsbegründenden Invaliditätsgrades. Daran hielt sie auf Einsprache hin fest (Entscheid vom 27. November 2006). B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 25. Juni 2008 ab. C. D._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, in Aufhebung des kantonalen Entscheides sei die Sache zur Neubeurteilung an die Verwaltung zurückzuweisen, eventuell sei ihm ab 1. September 2005 eine Dreiviertelsrente zuzusprechen. Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. 