Sachverhalt: A. Der Schweizer Bürger X._ wurde am 25. August 2006 auf dem Flughafen in Madrid verhaftet. Er kam von Santo Domingo her und führte 1,25 kg Kokain mit sich. Am 29. Mai 2007 verurteilte ihn das zuständige Gericht in Madrid zu neun Jahren und einem Tag Freiheitsstrafe. B. Am 26. Juli 2007 ersuchte X._ darum, zur weiteren Strafverbüssung in die Schweiz überstellt zu werden. Dabei gab er an, vor seiner Verhaftung in Speicher, Kanton Appenzell A.Rh., gewohnt zu haben. Am 15. November 2007 ging dieses Gesuch beim Bundesamt für Justiz (im Folgenden: Bundesamt) ein. Am 20. November 2007 forderte das Bundesamt die spanischen Behörden auf, die nach dem Übereinkommen über die Überstellung verurteilter Personen vom 21. März 1983 (SR 0.343) notwendigen Unterlagen einzureichen, sofern eine Überstellung befürwortet werde. Am 28. Mai 2008 gingen diese Unterlagen beim Bundesamt ein. Dieses schickte am 3. Juli 2008 das Gesuch von X._ an den Kanton Appenzell A.Rh. mit der Bitte, dieses zu prüfen. Mit Schreiben vom 7. Juli 2008 bestritt der Kanton Appenzell A.Rh. seine Zuständigkeit. Er führte aus, X._ habe keinen Wohnsitz im Kanton Appenzell A.Rh. und sei nicht Bürger dieses Kantons. Am 14. Juli 2008 übermittelte das Bundesamt das Gesuch von X._ an dessen Heimatkanton, den Kanton Bern. Am 21. August 2008 teilte der Kanton Bern mit, er erachte sich ebenfalls als unzuständig. Aus humanitären Gründen war er aber bereit, vorläufig einer Überstellung von X._ in den Kanton Bern zuzustimmen unter der Bedingung, dass sich der Kanton Appenzell A.Rh. vorgängig bereit erkläre, den weitern Vollzug zu übernehmen und dem Kanton Bern die im Zusammenhang mit der Überstellung entstandenen Kosten zurückzuerstatten, wenn die Zuständigkeit nach gerichtlicher Beurteilung der Sache beim Kanton Appenzell A.Rh. liegen sollte. Der Kanton Appenzell A.Rh. stimmte diesem Vorgehen am 25. August 2008 zu. Am 26. Februar 2009 wurde X._ von Spanien in die Schweiz überstellt. C. Am 22. Juni 2009 ersuchte der Kanton Bern das Bundesstrafgericht, die Zuständigkeit für die Übernahme des Vollzugs der Strafe von X._ zu bestimmen. Mit Entscheid vom 6. Juli 2009 trat das Bundesstrafgericht (I. Beschwerdekammer) auf das Gesuch nicht ein. D. Am 7. Oktober 2009 erhob der Kanton Bern gegen den Kanton Appenzell A.Rh. Klage beim Bundesgericht mit dem Antrag, es sei festzustellen, dass der Kanton Appenzell A.Rh. für den Vollzug der spanischen Freiheitsstrafe zuständig sei. Mit Urteil vom 21. Dezember 2009 trat das Bundesgericht auf die Klage nicht ein. Es befand, das Bundesamt habe die Zuständigkeitsfrage gestützt auf Art. 104 Abs. 1 IRSG (SR 351.1) in einer Verfügung zu regeln, welche nach Art. 120 Abs. 2 BGG der Beschwerde durch den betroffenen Kanton an das Bundesgericht unterliege (1E_1/2009; BGE 136 IV 44). E. Am 22. Januar 2010 ersuchte der Kanton Bern das Bundesamt, eine Verfügung zur Zuständigkeit zu treffen. F. Mit Schreiben vom 6. Oktober 2010 erkundigte sich das spanische Justizministerium nach dem Stand des Strafvollzugs, damit im Hinblick auf das Inkrafttreten des neuen spanischen Strafgesetzbuches im Dezember 2010 eine Reduktion der gegen X._ ausgesprochenen Strafe geprüft werden könne. Am 1. November 2010 übermittelte das Bundesamt den spanischen Behörden das Antwortschreiben des Kantons Bern. Am 16. Dezember 2010 teilte das spanische Justizministerium mit, infolge des neuen spanischen Strafgesetzbuches, welches Wirkung ab dem 23. Dezember 2010 entfalte, sei die Strafe von X._ auf sechs Jahre und einen Tag reduziert worden. Gestützt auf die entsprechende Verfügung der Abteilung Straf- und Massnahmenvollzug des Kantons Bern wurde X._ am 23. Dezember 2010 bedingt aus dem schweizerischen Strafvollzug entlassen. G. Mit Entscheid vom 7. März 2011 stellte das Bundesamt fest, dass der Kanton Appenzell A.Rh. für die Behandlung des Gesuchs von X._ vom 26. Juli 2007 um Überstellung von Spanien an die Schweiz zuständig war. Das Bundesamt kam zum Schluss, es bestünden hinreichende Anhaltspunkte dafür, dass X._ im massgeblichen Zeitpunkt seiner Verhaftung Wohnsitz im Kanton Appenzell A.Rh. gehabt habe. Hinweise auf eine enge Verbindung zu einem anderen Kanton, insbesondere zum Kanton Zürich, bestünden nicht. Die subsidiäre Zuständigkeit des Heimatkantons greife somit nicht. H. Der Kanton Appenzell A.Rh. führt beim Bundesgericht Beschwerde mit dem Antrag, es sei unter Aufhebung des Entscheids des Bundesamtes festzustellen, dass der Kanton Bern für die Behandlung des Gesuchs von X._ um Überstellung von Spanien an die Schweiz zuständig war. Der Kanton Appenzell A.Rh. macht geltend, X._ habe im Zeitpunkt seiner Verhaftung in Speicher keinen Wohnsitz mehr gehabt, womit die subsidiäre Zuständigkeit des Heimatkantons gegeben sei. I. Das Bundesamt hat sich vernehmen lassen mit dem Antrag, die Beschwerde sei abzuweisen. Es hat seinerseits die Kantone Bern und Zürich eingeladen, ihm allfällige Bemerkungen zur Beschwerde zukommen zu lassen. Der Kanton Zürich hat auf eine Stellungnahme verzichtet. Der Kanton Bern hält an seinen bisherigen Ausführungen fest und ist weiterhin der Ansicht, dass X._ im Kanton Appenzell A.Rh. wohnte. 