Sachverhalt: A. G._, geboren am 19. März 1946, meldete sich am 26. August 2002 zum Bezug von Leistungen der Invalidenversicherung an. Er war seit 9. März 1993 als Sandstrahler (ungelernt) bei der X._ AG tätig gewesen. Aufgrund eines Sturzes aus ca. 1 Meter Höhe in einen Kranbehälter erlitt er eine Kniekontusion beidseits sowie eine fragliche Schulterkontusion rechts (Austrittsbericht der Rehaklinik Y._ vom 4. September 2002, wo er sich vom 24. Juli bis 21. August 2002 aufhielt). Im Rahmen dieses Aufenthaltes wurde festgestellt, dass das Ausmass der demonstrierten Einschränkungen aus medizinischer Sicht nicht plausibel sei. Mit Verfügung vom 26. Juni 2006 sprach die IV-Stelle des Kantons Solothurn G._ vom 1. April bis 31. Mai 2003 eine halbe und vom 1. Juni bis 30. November 2003 eine ganze Invalidenrente zu. Die dagegen am 6. Juli 2006 erhobene Einsprache wies sie am 10. Januar 2007 ab. Die dagegen eingereichte Beschwerde hiess das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 15. Mai 2008 gut, indem es den Einspracheentscheid vom 10. Januar 2007 aufhob und die Akten an die IV-Stelle zurückwies, damit diese ergänzende Abklärungen betreffend Vervollständigung der medizinischen Aktenlage vornehme, eine interdisziplinäre Begutachtung veranlasse und hierauf über das Leistungsbegehren neu entscheide. Bereits am 21. Mai 2007 hiess das kantonale Gericht eine Beschwerde von G._ betreffend Leistungen der obligatorischen Unfallversicherung gut und hob den Einspracheentscheid der Schweizerischen Unfallversicherungsanstalt (SUVA) vom 29. Dezember 2005 auf und wies die Sache an diese zurück, damit sie weitere Beweismassnahmen veranlasse. Am 23. November 2007 stellte die SUVA das Einholen eines interdisziplinären Gutachtens, federführend die Rheumatologie des Spitals Z._, unter Beizug von Prof. Dr. med. H._, Wirbelsäulenchirurg, und Prof. Dr. med. F._, Psychiater, in Aussicht und legte dem Versicherten den vorgesehenen Fragenkatalog vor. Am 25. Juni 2008 schloss sich die IV-Stelle dieser Begutachtung mit entsprechenden Zusatzfragen an. Am 12. März 2008 wurde der SUVA ein von Dr. med. S._, Oberarzt an der Klinik und Poliklinik für Orthopädische Chirurgie des Spitals Z._, erstelltes Gutachten abgeliefert. Am 13. März 2008 legten Prof. Dr. med. F._, Chefarzt des medizinischen Zentrums Q._, und Dr. med. N._, Facharzt für Psychiatrie, das von ihnen erstellte psychiatrische Gutachten der SUVA vor. Am 19. März 2008 wurde von Prof. Dr. med. V._, Ordinarius für Rheumatologie und Klinische Immunologie, Spital Z._, zuhanden der SUVA ein Gutachten erstattet, in dessen Appendix die Zusatzfragen der IV-Stelle beantwortet wurden. Am 26. November 2008 sprach die SUVA G._ eine Rente ab 1. Dezember 2003 bei einem Erwerbsunfähigkeitsgrad von 16 % zu. Mit Vorbescheid vom 19. März 2009 stellte die IV-Stelle G._ die Ausrichtung einer halben Invalidenrente im Monat April 2003 und einer ganzen Invalidenrente in den Monaten Mai bis November 2003 in Aussicht. In der Stellungnahme hierzu machte G._ geltend, er sei gestützt auf das Teilgutachten von Dr. med. S._ zu 0 % arbeitsfähig. Dr. med. A._, Allgemeine Medizin FMH, Regionaler Ärztlicher Dienst, nahm dazu am 11. August 2009 Stellung. Mit Verfügungen vom 17. November 2009 sprach die IV-Stelle G._ für den Monat April 2003 eine halbe Invalidenrente und vom 1. Mai bis 30. November 2003 eine ganze Invalidenrente zu; ab 1. Dezember 2003 verweigerte sie eine Rentenzahlung aufgrund eines Invaliditätsgrades von 16 %. B. Gegen die Verfügungen der IV-Stelle vom 17. November 2009 erhob der Versicherte beim kantonalen Gericht Beschwerde. Im Rahmen des Beschwerdeverfahrens reichte die IV-Stelle ein von Prof. Dr. med. V._ am 4. Februar 2010 unterzeichnetes Exemplar des Appendix zum Gutachten vom 19. März 2008 ein. Das kantonale Gericht wies die Beschwerde mit Entscheid vom 25. Februar 2011 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt der Versicherte die Aufhebung des kantonalen Entscheides und die Rückweisung der Angelegenheit an die IV-Stelle, damit sie ergänzende medizinische Abklärungen vornehme. Die IV-Stelle, das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. 