Sachverhalt: A. A.a P._, geboren 1970, erlitt am 30. Mai 2001 als Autolenker einen Heckauffahrunfall. Er meldete sich im Juni 2002 zum Bezug von Leistungen der Invalidenversicherung an. Vom 1. Juli 1998 bis 30. Juni 2001 war P._ im Rahmen eines befristeten Arbeitsverhältnisses als Fussballspieler bei der F._ AG beschäftigt. Dr. med. B._, Chefarzt Neurorehabilitation, Parkinson-Zentrum und Epileptologie der Klinik X._ erstattete im Auftrag des für den Verkehrsunfall vom 30. Mai 2001 zuständigen Unfallversicherers am 18. Dezember 2003/14. April 2004 ein medizinisches Gutachten. P._ liess am 17. Dezember 2004 bei Dr. med. H._, Psychiatrie und Psychotherapie FMH, ein psychiatrisches und am 27. Mai 2005 bei Dr. med. M._, Spezialarzt FMH für Neurologie ein neurologisches/neuropsychologisches Gutachten erstellen. Die IV-Stelle Bern ordnete bei der Stiftung Q._ für berufliche Integration eine Abklärung an, über die am 21. August 2007 berichtet wurde, und holte ein interdisziplinäres MEDAS-Gutachten vom 15. April 2008 ein. Mit Vorbescheid vom 14. Mai 2008 stellte die IV-Stelle dem Versicherten die Verneinung eines Rentenanspruchs in Aussicht. P._ erhob dagegen am 28. Mai 2008 Einwände und nahm am 25. Juni 2008 Stellung zum MEDAS-Gutachten. Hiezu äusserten sich die MEDAS am 7. Juli 2008 und Dr. med. E._, Facharzt für Psychiatrie und Psychotherapie FMH, vom Regionalen Ärztlichen Dienst (RAD) der IV-Stelle Bern am 13. Oktober 2008. Mit Verfügung vom 21. Oktober 2008 verneinte die IV-Stelle den Anspruch auf eine Invalidenrente. A.b Mit Entscheid vom 31. August 2007 hat das Verwaltungsgericht des Kantons Bern eine vom Unfallversicherer zugesprochene Übergangsentschädigung aufgehoben und festgestellt, dass über den 1. August 2005 hinaus kein Anspruch auf Leistungen aus Unfallversicherung bestehe. Dies wurde mit Urteil 8C_614/2007 des Bundesgerichts vom 10. Juli 2008 bestätigt. B. Die von P._ gegen die Verfügung der IV-Stelle Bern vom 21. Oktober 2009 erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 28. Oktober 2010 ab. C. P._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, es sei der kantonale Entscheid vom 28. Oktober 2010 aufzuheben und die IV-Stelle zu verpflichten, die gesetzlich geschuldeten Leistungen, insbesondere eine Invalidenrente, auszurichten. Die IV-Stelle beantragt die Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherungen hat sich nicht vernehmen lassen. 