Sachverhalt: A. C._ ist als selbständigerwerbender Landwirt der Ausgleichskasse des Kantons Wallis angeschlossen. Im Rahmen eines Expropriationsverfahrens betreffend eine von ihm bis 2007 gepachtete Parzelle einigte er sich am 6. Dezember 1993 mit der Gemeinde auf die Auflösung des Pachtvertrages gegen Bezahlung von Fr. 170'000.-. Diesen Betrag berücksichtigte die kantonale Steuerverwaltung in der Veranlagungsverfügung für die Jahre 1995/1996 vom 2. Mai 2006 als steuerpflichtiges Einkommen. Die Verfügungen für die Jahre 1996/1997 und 1998/1999 erliess sie am 23. November und 19. Oktober 2005. Aufgrund der entsprechenden Meldungen der Steuerverwaltung machte die Ausgleichskasse die persönlichen Beiträge für Alters- und Hinterlassenenversicherung, Invalidenversicherung, Erwerbsersatz sowie Familienzulagen rückwirkend für die Beitragsperioden 1996/1997, 1998/1999 sowie 2000 mit Verfügungen vom 23. Januar und 19. Juli 2006 geltend. Mit Einspracheentscheiden vom 24. und 25. August 2006 setzte sie die jährlichen Beiträge neu auf Fr. 14'237.40 (für die Periode 1996/97), Fr. 5'132.40 (für die Periode 1998/99) und Fr. 3'190.80 (für das Jahr 2000) fest, wobei sie für die Periode 1996/1997 u.a. je die Hälfte der Entschädigung für die Pachtauflösung (Fr. 85'000.-) als beitragspflichtiges landwirtschaftliches Einkommen erfasste. B. Die dagegen eingereichten Beschwerden des C._ wies das Kantonale Versicherungsgericht des Wallis nach Vereinigung der Verfahren mit Entscheid vom 27. Oktober 2008 ab. C. C._ erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten. Mit der Begründung, der Betrag von Fr. 170'000.- stelle einen nicht beitragspflichtigen Expropriationszins dar und die Beiträge für die Jahre 1996 bis 2000 seien verjährt, beantragt er die Abänderung der Entscheide vom 24. und 25. August 2006. Die Ausgleichskasse und das Bundesamt für Sozialversicherungen schliessen auf Abweisung der Beschwerde, während das kantonale Gericht auf eine Stellungnahme verzichtet. 