Sachverhalt: A. Der 1957 geborene G._ wurde vom Strafgericht Basel-Stadt mit Urteil vom 11. Januar 2008 zu einer Freiheitsstrafe von 3 1⁄2 Jahren verurteilt. Gestützt auf die Vollzugsmeldung vom 4. Januar 2010 verfügte die IV-Stelle für Versicherte im Ausland (nachfolgend: IV-Stelle) am 19. Januar 2010 die Sistierung der diesem zugesprochenen ganzen Invalidenrente ab dem 1. Februar 2010. Das Amt für Justizvollzug lud den Versicherten auf den 17. Mai 2010 zum Strafantritt vor. Dieser kehrte indessen erst am 30. März 2011 zum Strafvollzug in die Schweiz zurück. Mit Verfügung vom 14. September 2011 hob die IV-Stelle die am 19. Januar 2010 verfügte Sistierung für die Zeit vom 1. Februar bis 31. Mai 2010 wiedererwägungsweise auf und stellte die Nachzahlung der diesen Zeitraum betreffenden IV-Rente in Aussicht; gleichzeitig setzte sie die Sistierung mit Wirkung ab 1. Juni 2010 fest. B. Die dagegen erhobene Beschwerde wies das Bundesverwaltungsgericht mit Entscheid vom 28. Februar 2012 ab. C. G._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, in Aufhebung des angefochtenen Entscheids sei von einer Sistierung der IV-Rente für die Zeit vom 1. Juni 2010 bis 31. März 2011 abzusehen. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesverwaltungsgericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. 