Sachverhalt: A. Der 1970 geborene M._ meldete sich Ende September 1996 bei der Invalidenversicherung zum Leistungsbezug an. Nachdem ihm verschiedene Umschulungsmassnahmen zugesprochen worden waren, welche letztlich erfolglos blieben, und nach Abklärung von Gesundheitszustand, Arbeits- und Eingliederungsfähigkeit durch das ABI (Ärztliches Begutachtungsinstitut; Expertise vom 30. Oktober 2003) lehnte die IV-Stelle des Kantons Graubünden mit Verfügung vom 7. Juli 2004 das Gesuch um Wiederaufnahme der abgebrochenen Ausbildung zum soziokulturellen Animator an der Hochschule X._ aufgrund eines nicht anspruchsbegründenden Invaliditätsgrades von 16 % ab. Mit Verfügung vom 8. Juli 2004 verneinte sie auch den Anspruch auf eine Invalidenrente, woran sie mit Einspracheentscheid vom 23. März 2005 festhielt. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 14. September 2005 ab. Mit Urteil I 931/05 vom 21. August 2006 hob das Eidg. Versicherungsgericht dieses Erkenntnis und den Einspracheentscheid auf und wies die Sache an die IV-Stelle zurück, damit sie im Sinne von Erwägung 3.2 verfahre. Am 19. Oktober und 16. November 2007 wurde M._ durch das IIMB (Institut für Interdisziplinäre Medizinische Begutachtungen) untersucht (Expertise vom 20. Januar 2008 mit Ergänzung vom 11. Juni 2009). Der Regionale Ärztliche Dienst nahm am 16. Juni 2009 eine Abschlussbeurteilung vor. Nach durchgeführtem Vorbescheidverfahren sprach die IV-Stelle dem Versicherten mit Verfügungen vom 13. April und 6. August 2010 für die Zeit vom 1. September 2004 bis 29. Februar 2008 eine ganze Rente und ab 1. März 2008 eine halbe Rente der Invalidenversicherung zu. B. Die gegen alle drei Verfügungen erhobenen Beschwerden des M._ wies das Verwaltungsgericht des Kantons Graubünden nach Vereinigung der Verfahren und zweifachem Schriftenwechsel mit Entscheid vom 11. Januar 2011 ab, soweit darauf eingetreten werden konnte. C. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Entscheid vom 11. Januar 2011 und die Verfügungen vom 13. April und 6. August 2010 seien aufzuheben und ihm ab 1. Oktober 1997 mindestens eine halbe und ab 1. September 2004 bis auf Weiteres eine ganze Invalidenrente zuzusprechen; eventualiter sei die Sache zu weiteren Abklärungen an die IV-Stelle zurückzuweisen. 