Sachverhalt: A. A.a Der 1953 geborene A._ arbeitete bis 31. Dezember 1999 als angelernter Dachdecker. Am 5. Juli 2000 meldete er sich unter Hinweis auf Rücken- und Nackenprobleme sowie erhöhten Blutdruck bei der Invalidenversicherung erstmals zum Leistungsbezug (Umschulung) an. Die IV-Stelle Bern klärte den medizinischen und erwerblichen Sachverhalt ab und liess A._ am Institut X._ internistisch, rheumatologisch und psychiatrisch beurteilen (interdisziplinäres Gutachten vom 18. August 2004). Mit Verfügung vom 5. Oktober 2004 lehnte sie den Anspruch auf eine Invalidenrente ab mit der Begründung, die medizinischen Abklärungen hätten ergeben, dass der Versicherte zwar die angestammte Tätigkeit als angelernter Dachdecker behinderungsbedingt nicht mehr ausüben könne, ihm eine körperlich leichte bis mittelschwere adaptierte Tätigkeit aber ganztags ohne Leistungseinbusse zumutbar sei. Die dagegen erhobene Einsprache wies sie mit Entscheid vom 11. Februar 2005 bei einem ermittelten Invaliditätsgrad von 25 % ab. Dieser wurde vom Verwaltungsgericht des Kantons Bern mit Entscheid vom 21. Oktober 2005 (Invaliditätsgrad von 10 %) und vom Eidgenössischen Versicherungsgericht mit Urteil I 854/05 vom 1. Mai 2006 (Invaliditätsgrad von 22 %) im Ergebnis geschützt. A.b Am 8. Dezember 2005 hatte A._ erneut Leistungen der Invalidenversicherung beantragt und eine Verschlechterung des Gesundheitszustandes mit vollständiger Arbeitsunfähigkeit geltend gemacht. Die IV-Stelle holte den Bericht des Dienstes Y._ vom 11. Januar 2007 ein und stellte dem Versicherten mit Vorbescheid vom 19. Januar 2007 Nichteintreten auf das neue Leistungsbegehren in Aussicht. Nach Einwänden des Versicherten traf sie zusätzliche medizinische Abklärungen. Gestützt auf einen weiteren Bericht des Dienstes Y._ vom 10. Mai 2007 holte sie beim Institut X._ ein interdisziplinäres Verlaufsgutachten internistisch-psychiatrisch-orthopädisch-ophthalmologischer Fachrichtung vom 25. Januar 2008 ein. Mit Vorbescheid vom 28. April 2008 und Verfügung vom 27. Juni 2008 lehnte sie den Anspruch auf eine Invalidenrente (Invaliditätsgrad von 37 %) abermals ab. B. Die dagegen erhobene Beschwerde, mit der als Beweismittel unter anderem ein vom Versicherten in Auftrag gegebenes interdisziplinäres Gutachten des Instituts Z._ vom 11. Juli 2008 (mit Teilgutachten in orthopädischer, ophthalmologischer, psychiatrischer, neurologischer und neuropsychologischer Hinsicht) eingereicht wurde, wies das Verwaltungsgericht des Kantons Bern nach Durchführung einer öffentlichen Schlussverhandlung mit Entscheid vom 25. November 2009 ab. C. A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten. Er beantragt, es seien ihm unter Aufhebung des vorinstanzlichen Entscheides jeweils ab wann rechtens die gesetzlichen Leistungen nach Massgabe eines Invaliditätsgrades von mindestens 40 % und ein Verzugszins von 5 % auszurichten; eventualiter sei die Sache an die Vorinstanz zurückzuweisen, damit sie nach ergänzenden medizinischen und beruflichen Abklärungen über den Leistungsanspruch neu befinde. Die IV-Stelle sei zu verpflichten, ihm die im Zusammenhang mit dem Gutachten des Instituts Z._ vom 11. Juli 2008 entstandenen Kosten von Fr. 15'500.- zuzüglich Übersetzungskosten von Fr. 903.85 zu erstatten. Zudem ersucht er um unentgeltliche Prozessführung und Bewilligung eines unentgeltlichen Rechtsbeistandes im bundesgerichtlichen Verfahren. Mit Verfügung vom 10. März 2010 weist das Bundesgericht das Gesuch um unentgeltliche Rechtspflege ab. 