Sachverhalt: A. Mit Verfügung vom 12. Dezember 2008 wies die Schweizerische Ausgleichskasse (SAK) das Gesuch des 1943 geborenen E._, Staatsangehöriger von Bosnien-Herzegowina, um Ausrichtung einer Altersrente ab mit der Begründung, die einjährige Mindestbeitragsdauer sei nicht erfüllt. Des Weitern teilte sie ihm mit, dass die der schweizerischen Alters-, Hinterlassenen- und Invalidenversicherung entrichteten Beiträge nicht zurückerstattet werden könnten. Daran hielt sie auf Einsprache des E._ hin fest (Entscheid vom 19. Februar 2009). B. Beschwerdeweise liess E._ die Aufhebung der Verfügung beantragen. Die SAK sei zu verpflichten, ihm eine ordentliche Altersrente auszurichten. Eventualiter seien ihm die geleisteten Sozialversicherungsbeiträge zurückzuerstatten. Es sei festzustellen, dass die Verordnung über die Beibehaltung der AHV-Beiträge bei Verweigerung von Rentenzahlungen nicht gesetzes-, verfassungs- und EMRK-konform sei. Des Weitern sei ihm für das Verfahren vor Bundesverwaltungsgericht und das Verwaltungsverfahren die unentgeltliche Rechtspflege (Prozessführung, Verbeiständung) zu gewähren. Mit Verfügung vom 7. September 2009 verneinte die Instruktionsrichterin einen Anspruch auf unentgeltliche Verbeiständung. Mit Entscheid vom 5. April 2011 wies das Bundesverwaltungsgericht die Beschwerde ab, ohne Gerichtskosten aufzuerlegen. C. E._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und die Aufhebung des Entscheides des Bundesverwaltungsgerichts beantragen. Im Übrigen erneuert er das vor Bundesverwaltungsgericht gestellte Rechtsbegehren. Des Weitern ersucht er um Bewilligung der unentgeltlichen Rechtspflege (Prozessführung, Verbeiständung) "für alle drei Instanzen". D. Mit Verfügung vom 7. Juli 2011 hat die II. sozialrechtliche Abteilung des Bundesgerichts das Gesuch um unentgeltliche Rechtspflege für das letztinstanzliche Verfahren zufolge Aussichtslosigkeit der Beschwerde abgewiesen und einen Kostenvorschuss von Fr. 500.- erhoben, welcher innert der gesetzten Frist bezahlt worden ist. 