Sachverhalt: A. A.a Der 1957 geborene E._ war von Mai 1988 bis Ende Januar 2004 als Lagerist angestellt. Im Dezember 2003 meldete er sich unter Hinweis auf Rückenbeschwerden und psychische Probleme bei der Invalidenversicherung zum Leistungsbezug an. Gestützt auf das Gutachten des Instituts X._ vom 24. Februar 2006 wies die IV-Stelle des Kantons St. Gallen den Anspruch auf Invalidenrente mit Verfügung vom 8. Mai 2006 ab und bestätigte dies mit Einspracheentscheid vom 16. August 2006. Das Versicherungsgericht des Kantons St. Gallen wies die dagegen erhobene Beschwerde mit Entscheid vom 22. November 2007 ab. A.b Im Februar 2008 gelangte E._ mit einem neuen Rentengesuch an die Invalidenversicherung. Auf Vorschlag ihres Regionalen Ärztlichen Dienstes ordnete die IV-Stelle gemäss Mitteilung vom 25. April 2008 eine Verlaufsbegutachtung durch das Institut X._ an. Mit Schreiben vom 10. Oktober und 6. November 2008 teilte der Versicherte der IV-Stelle mit, nachdem im ersten Verfahren seitens seines damaligen Rechtsvertreters massive Vorwürfe an die Adresse des Instituts X._ und deren Medizinalpersonen gerichtet worden seien, sei die Unbefangenheit dieser Institution und ihres Orthopäden Dr. med. H._ fraglich. In der Folge hielt die Verwaltung an der Begutachtung durch die Ärzte des Instituts X._ fest und wies E._ mit Schreiben vom 14. November 2008 auf die Folgen einer Verletzung der Mitwirkungspflicht hin. Nachdem er den Untersuchungstermin vom 17. November 2008 wahrgenommen hatte, machte der Versicherte gegen den mit der Fallführung betrauten Facharzt Dr. med. H._ erneut Befangenheit geltend. Das Gutachten wurde am 8. Dezember 2008 erstellt. Mit Verfügung vom 5. August 2009 verneinte die IV-Stelle das Vorliegen von Ausstandsgründen und lehnte gleichzeitig das Leistungsbegehren ab. B. Beschwerdeweise liess E._ die Aufhebung der Verfügung vom 5. August 2009 und die Rückweisung der Sache an die IV-Stelle beantragen. In diesem Verfahren machte er geltend, die IV-Stelle hätte über sein Ausstandsbegehren in Form einer selbständig anfechtbaren Zwischenverfügung befinden müssen. Das Versicherungsgericht des Kantons St. Gallen wies die Beschwerde mit Entscheid vom 20. August 2010 ab, indem es den Anspruch auf eine Zwischenverfügung über den Ausstand unter Hinweis auf die Endverfügung vom 5. August 2009 ablehnte, das Vorliegen von Ausstandsgründen verneinte und den von der IV-Stelle gestützt auf das Gutachten des Instituts X._ vom 8. Dezember 2008 abschlägig beurteilten Rentenanspruch bestätigte. C. E._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, es sei der vorinstanzliche Entscheid aufzuheben und die Sache zur Abklärung der Leistungsansprüche an die Verwaltung zurückzuweisen. IV-Stelle, kantonales Gericht und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. 