Sachverhalt: A. Der 1963 geborene A._ ist Staatsangehöriger von Italien und dort wohnhaft. Er arbeitete von 1999 bis 2006 als Saisonnier bei einer Alpgenossenschaft resp. als Alphirt in der Schweiz. Ausserdem war er in Italien erwerbstätig, bis Mai 2006 unter anderem als Marmorarbeiter. Am 30. Juni 2006 erlitt A._ bei der Arbeit in der Schweiz einen Unfall. Eine Kuh trat gegen seine rechte Schulter, worauf er auf den Rücken fiel (Unfallmeldung vom 14. September/22. November 2006). Am 18. November 2008 erfolgte eine Operation an der rechten Schulter. Im April 2010 meldete sich A._ unter Hinweis auf seit dem Unfall bestehende gesundheitliche Beschwerden bei der Schweizerischen Invalidenversicherung (nachfolgend: IV) zum Leistungsbezug an. Die IV-Stelle für Versicherte im Ausland zog nebst weiteren Abklärungen die Akten der AXA Versicherungen AG (nachfolgend: AXA), dem für den Unfall von 2006 zuständigen obligatorischen Unfallversicherer, bei und holte ein interdisziplinäres MEDAS-Gutachten vom 5. Juli 2011 (mit Ergänzung vom 12. Januar 2012) ein. Mit Verfügung vom 30. Mai 2012 verneinte sie einen Leistungsanspruch mit der Begründung, ein Rentenanspruch hätte lediglich vom 18. November 2008 bis 30. April 2009 bejaht werden können, falle aber wegen verspäteter Anmeldung dahin. Zwischenzeitlich hatte die AXA A._ mit Verfügung vom 19. Januar 2011 für die verbleibenden Folgen des Unfalls von 2006 aus der Unfallversicherung (nachfolgend: UV) eine ab 1. Juni 2009 laufende Invalidenrente entsprechend einer Erwerbsunfähigkeit von 64 % und eine Integritätsentschädigung für eine Integritätseinbusse von 17.5 % zugesprochen. Mit Verfügung vom 1. November 2012 und Einspracheentscheid vom 10. April 2013 kam die AXA wiedererwägungsweise auf ihre Verfügung vom 19. Januar 2011 zurück und stelle die UV-Rente per 31. Dezember 2012 ein. B. A._ führte gegen die Verfügung der IV-Stelle vom 30. Mai 2012 Beschwerde beim Bundesverwaltungsgericht. Dieses gewährte ihm die unentgeltliche Rechtspflege. Mit Entscheid vom 20. Mai 2014 trat es sodann auf die Beschwerde, soweit Eingliederungsmassnahmen betreffend, nicht ein und wies sie im Rentenpunkt ab. A._ erhob auch gegen den Einspracheentscheid der AXA vom 10. April 2013 Beschwerde. Mit Entscheid vom 30. April 2013 hiess das Verwaltungsgericht des Kantons Graubünden diese teilweise gut und verpflichtete den Unfallversicherer, ab 1. Januar 2013 eine UV-Invalidenrente entsprechend einer Erwerbsunfähigkeit von 10 % auszurichten. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, in Aufhebung des Entscheides des Bundesverwaltungsgerichts sei festzustellen, dass mit Wirkung ab Anmeldung zum Leistungsbezug Anspruch auf mindestens eine Dreiviertelsrente der IV bei einem Invaliditätsgrad von 64 % bestehe; eventuell sei der vorinstanzliche Entscheid aufzuheben und die Sache im Sinne der Erwägungen an das Bundesverwaltungsgericht oder die IV-Stelle zurückzuweisen. Weiter wird um Gewährung der unentgeltlichen Rechtspflege für das letztinstanzliche Verfahren ersucht. Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wird nicht durchgeführt. D. Mit heutigem Datum beurteilt das Bundesgericht auch die von A._ gegen den Entscheid des Verwaltungsgerichts von Graubünden vom 30. April 2013 erhobene Beschwerde betreffend UV-Rente (Dossier-Nr. 8C_441/2014). 