Sachverhalt: A. Der kroatische Staatsangehörige M._ (geboren 1973) lebt seit Oktober 2006 in der Schweiz. Nachdem die IV-Stelle des Kantons Zug mit Verfügung vom 17. Juli 2009 ein Gesuch um Zusprechung einer Invalidenrente abgelehnt hatte, weil die Invalidität bereits vor der Einreise in die Schweiz eingetreten sei, meldete sich M._ am 29. Februar 2008 zum Bezug einer Hilflosenentschädigung der Invalidenversicherung an. Mit Verfügung vom 19. November 2009 lehnte die IV-Stelle dieses Gesuch ab. Die Abklärungen hätten ergeben, dass der Versicherte in keiner alltäglichen Lebensverrichtung regelmässig auf die Hilfe Dritter angewiesen ist. Zudem seien keine dauernde Pflege oder persönliche Überwachung erforderlich, und die Notwendigkeit lebenspraktischer Begleitung sei ebenfalls nicht ausgewiesen. Die von M._ hiegegen eingereichte Beschwerde hiess das Verwaltungsgericht des Kantons Zug mit Entscheid vom 24. Februar 2011 insofern gut, dass es die Verfügung vom 19. November 2009 aufhob und die Sache zu weiterer Abklärung und neuer Entscheidung an die IV-Stelle zurückwies. Zur Begründung hielt es fest, im Abklärungsbericht der IV-Stelle seien die Fragen zum Bedarf nach lebenspraktischer Begleitung nicht beantwortet. Zudem sei der Anspruch im Lichte der staatsvertraglichen Bestimmungen des schweizerisch-kroatischen Sozialversicherungsabkommens näher zu prüfen. Mit Verfügung vom 20. August 2012 lehnte die IV-Stelle das Leistungsgesuch wiederum ab, wobei sie einen Anspruch sowohl aufgrund der staatsvertraglichen als auch der materiellen Bestimmungen verneinte. B. Die hiegegen eingereichte Beschwerde, mit welcher M._ die Aufhebung der Verfügung der IV-Stelle und die Zusprechung einer Hilflosenentschädigung für lebenspraktische Begleitung hatte beantragen lassen, wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 11. April 2013 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt der Versicherte das vorinstanzlich gestellte Rechtsbegehren erneuern. Die IV-Stelle schliesst auf Abweisung der Beschwerde; das Verwaltungsgericht des Kantons Zug äussert sich in ablehnendem Sinne, während das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung verzichtet. 