Sachverhalt: A. A.a Der 1952 geborene D._ meldete sich am 19. Oktober 2007 unter Hinweis auf Schulterbeschwerden bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärung der erwerblichen und medizinischen Verhältnisse, wobei er an der Klinik X._ begutachtet wurde (Expertise vom 6. Juni 2009), sprach ihm die IV-Stelle Bern nach Einholung einer Stellungnahme ihres Regionalen Ärztlichen Dienstes (RAD) vom 21. Juli 2010, mit Verfügung vom 8. Dezember 2010 ab Januar 2007 eine ganze Rente und ab 1. Mai 2007 eine Viertelsrente der Invalidenversicherung zu. Mit drei Verfügungen vom 5. Januar 2011 legte die IV-Stelle Bern sodann die einzelnen Rentenbeträge und Nachzahlungsmodalitäten fest. Gegen die Verfügungen vom 8. Dezember 2010 und 5. Januar 2011 liess D._ Beschwerde beim Verwaltungsgericht des Kantons Bern erheben. Nachdem ihn dieses auf eine drohende Schlechterstellung (reformatio in peius) aufmerksam gemacht hatte (Schreiben vom 30. März 2011), zog D._ das Rechtsmittel zurück, worauf das Verwaltungsgericht die Beschwerde abschrieb (Entscheid vom 4. Mai 2011). A.b Daraufhin kam die IV-Stelle wiedererwägungsweise auf die Verfügungen vom 8. Dezember 2010 und 5. Januar 2011 zurück und hob diese mit Verfügung vom 29. August 2011 insoweit teilweise auf, als sie ab Mai 2007 einen Rentenanspruch bei einem ermittelten Invaliditätsgrad von 32 % verneinte und die Viertelsrente auf Ende des der Zustellung folgenden Monats (per Ende September 2011) aufhob. B. Mit Entscheid vom 9. März 2012 wies das Verwaltungsgericht des Kantons Bern die dagegen eingereichte Beschwerde ab. C. D._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheids sei ihm weiterhin eine Viertelsrente der Invalidenversicherung zuzusprechen. Die IV-Stelle Bern schliesst auf Abweisung der Beschwerde. Die Vorinstanz und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. 