Sachverhalt: A. M._, geboren 1961, reiste am 13. März 1990 in die Schweiz ein und arbeitete in der Folge in einer Bäckerei, als er am 9. September 1990 stürzte und sich an der rechten Hand verletzte. Der zuständige Unfallversicherer (Krankenkasse KKB; heute: Visana) erbrachte bis Ende Februar 1992 die gesetzlichen Leistungen. Die Bäckerei löste das Arbeitsverhältnis per Ende November 1990 auf. M._ meldete sich anfangs 1992 bei der Invalidenversicherung zum Leistungsbezug an. Während des laufenden IV-Verfahrens kehrte er in seine Heimat zurück, da seine Aufenthaltsbewilligung per 31. Dezember 1992 abgelaufen und nicht erneuert worden war. Die Ausgleichskasse Graubünden teilte der Schweizerischen Ausgleichskasse den verwaltungsinternen Beschluss der Invalidenversicherungskommission Graubünden vom 22. November 1993 mit, wonach M._ ab September 1991 Anspruch auf eine ganze und von 1. Januar bis 29. Februar 1992 auf eine halbe Invalidenrente habe, damit diese entsprechend verfüge. Die nunmehr zuständige Behörde hielt den Fall pendent, da M._ bei seiner Ausreise keine Adresse hinterlassen hatte, und erliess keine Verfügung. Am 26. November 2007 ersuchte M._ um weitere Leistungen der Unfallversicherung. Die Visana lehnte dies mit Verfügung vom 14. Februar 2008, bestätigt mit Einspracheentscheid vom 28. Juli 2008, ab. Das Verwaltungsgericht des Kantons Graubünden wies eine dagegen erhobene Beschwerde mit Entscheid vom 23. September 2008 ab und das Bundesgericht trat auf die dagegen erhobene Beschwerde mit Urteil 8C_876/2008 vom 4. Dezember 2008 nicht ein. Im Juli 2009 meldete sich M._erneut zum Bezug von IV-Leistungen an. Die IV-Stelle für Versicherte im Ausland (nachfolgend: IVSTA) lehnte dies mangels Erfüllung der Mindestbeitragszeit mit Verfügung vom 8. Dezember 2010 ab. B. Das Bundesverwaltungsgericht wies die dagegen erhobene Beschwerde mit Entscheid vom 4. September 2013 ab. C. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es sei ihm unter Aufhebung des vorinstanzlichen Entscheids von September bis Dezember 1991 eine ganze und ab Januar 1992 mindestens eine halbe Invalidenrente zuzusprechen; eventualiter sei der vorinstanzliche Entscheid aufzuheben und festzustellen, dass er über eine genügende Beitragszeit verfüge und demnach auf den Rentenanspruch einzutreten sei. Zudem ersucht er um Gewährung der unentgeltlichen Rechtspflege. Die IVSTA schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. D. Mit Eingabe vom 13. Dezember 2013 lässt M._ neue Angaben zum Aufenthalt seiner Familie in der Schweiz vorbringen und die Berücksichtigung von Erziehungsgutschriften resp. die Sistierung des Verfahrens beantragen. 