Sachverhalt: A. Das Versicherungsgericht des Kantons Aargau hat mit Entscheid vom 20. März 2012 eine gegen die Verfügung der IV-Stelle des Kantons Aargau vom 3. Februar 2011 gerichtete Beschwerde abgewiesen und dabei dem unterliegenden Beschwerdeführer B._ Gerichtskosten in der Höhe von Fr. 800.- auferlegt. B. Gegen die Kostenauflage führt B._ Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, die Kostenziffer sei ganz aufzuheben. Eventualiter beantragt er eine maximal hälftige Kostenauflage. 