Sachverhalt: A. Der 1962 geborene A._ hat sich am 16. September 2009 zum Bezug von Leistungen der Invalidenversicherung angemeldet. Dr. B._, Spezialärztin für Anästhesie und Allgemeinmedizin, diagnostizierte in einem undatierten, am 6. Oktober 2009 bei der IV-Stelle Graubünden eingegangenen Arztbericht eine chronische Migräne, dissoziative Bewegungsstörung, rezidivierende depressive Störung und ein Tinnitus beidseits. Dr. C._, Oberarzt des Instituts X._, stellte am 26. Mai 2010 die Diagnosen rezidivierende depressive Störung, gegenwärtig mittelschwere bis schwere depressive Episode ohne psychotische Symptome, somatoforme, autonome Funktionsstörung im Sinne einer Herzneurose sowie sonstige somatoforme Störungen mit Auswirkungen auf die Arbeitsfähigkeit; er betrachtete A._ in der angestammten Tätigkeit als Küchenchef zu 100 % arbeitsunfähig. Eine leidensangepasste Tätigkeit stehe gegenwärtig nicht zur Verfügung. Am ehesten könne er sich eine Eingliederung im Rahmen einer geschützten Werkstätte vorstellen. Dr. D._, Facharzt für Allgemeine Innere Medizin vom Regionalen Ärztlichen Dienst der Invalidenversicherung (RAD), nahm in seiner Stellungnahme vom 2. Juni 2010 an, dass A._ seit 18. Juni 2009 zu 100 % arbeitsunfähig sei. Leider zeichne sich keine kurz- oder mittelfristige Besserung ab. Er empfehle den Fallabschluss und die frühe Revision in einem Jahr. Mit Vorbescheid vom 18. Juni 2010 stellte die IV-Stelle Graubünden die Ausrichtung einer ganzen Rente ab 1. Juni 2010 bei einem Invaliditätsgrad von 92 % in Aussicht. Am 1. September 2010 lehnte die IV-Stelle Graubünden berufliche Massnahmen ab, da keine solchen möglich seien. Mit Verfügung vom 27. September 2010 sprach die IV-Stelle Graubünden A._ ab 1. Juni 2010 eine ganze Invalidenrente zu. Gegenüber der SUVA machte A._ einen Rückfall zu einem Ereignis vom 25. Februar 2008 geltend, als er bei einem Gleitschirmunfall in eine Tanne gestürzt war. Im Rahmen einer neurologischen Beurteilung stellte Dr. E._, Facharzt FMH für Neurologie, Abteilung Versicherungsmedizin der SUVA, am 14. Januar 2011 fest, dass sich keine Traumafolgen feststellen liessen und es keinen nachvollziehbaren Grund gebe, die nach dem 18. Juni 2009 erheblich zugespitzten psychiatrischen Probleme von A._ in Zusammenhang mit dem stattgehabten Trauma mit Commotio cerebri vom 25. Februar 2008 zu bringen. Die IV-Stelle Graubünden holte bei Dr. F._, Oberärztin des Instituts X._, einen vom 5. Oktober 2011 datierten Bericht ein, nachdem A._ seit August 2010 nicht mehr in den Psychiatrischen Diensten Graubünden behandelt worden war. Am 1. Dezember 2011 veranlasste die IV-Stelle Graubünden bei Dr. G._, Facharzt Psychiatrie und Psychotherapie FMH, eine psychiatrische Begutachtung; die Expertise wurde am 18. Mai 2012 abgeliefert. Dr. G._ stellte eine relevante Verbesserung des Gesundheitszustandes seit der Verfügung vom 27. September 2010 fest. Seit April 2012 bestehe eine IV-relevante Arbeitsunfähigkeit von ca. 50 %. Mit Vorbescheid vom 21. Juni 2012 stellte die IV-Stelle Graubünden die Herabsetzung der ganzen auf eine halbe Invalidenrente in Aussicht. Dagegen erhoben A._ am 9. Juli 2012 und am 11. Juli 2012 Dr. B._ Einwände. Mit Verfügung vom 15. August 2012 setzte die IV-Stelle Graubünden ab Oktober 2012 die bisherige ganze auf eine halbe Invalidenrente herab. B. Das Verwaltungsgericht des Kantons Graubünden wies die dagegen erhobene Beschwerde ab (Entscheid vom 14. Mai 2013). C. A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Begehren, das Urteil des Verwaltungsgerichts des Kantons Graubünden vom 14. Mai 2013 sei aufzuheben und die Sache an die IV-Stelle zur weiteren medizinischen Abklärung zurückzuweisen. Eventuell seien ihm die gesetzlichen Leistungen nach Massgabe eines Invaliditätsgrades von mindestens 70 % bzw. 100 % ab Oktober 2012 auszurichten und ihm auf den nachzuzahlenden Rentenbetreffnissen Verzugszinsen in Höhe von 5 % zu vergüten. 