Sachverhalt: A. M._, geboren 1946, war zuletzt als Generalagent einer Versicherung tätig. Sein Vertrag wurde ihm per 30. April 2004 gekündigt und eine Anstellung als Verkaufsleiter angeboten. Auf Grund psychischer Probleme war er ab 24. Januar 2004 zu 100 % arbeitsunfähig geschrieben. Am 2. Dezember 2004 ersuchte er um eine Rente der Invalidenversicherung. Mit Verfügung vom 1. Juli 2005 lehnte die IV-Stelle des Kantons Bern sein Begehren ab. Auf Einsprache hin veranlasste die IV-Stelle weitere medizinische und berufliche Abklärungen und hob die Verfügung vom 1. Juli 2005 auf (Einspracheentscheid vom 26. Juli 2006). Mit Verfügung vom 23. November 2007 gewährte sie M._ von 1. Januar 2005 bis 30. Juni 2006 eine ganze Invalidenrente. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 22. April 2009 ab. C. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es seien der vorinstanzliche Entscheid aufzuheben und die IV-Stelle zu verpflichten, ihm ab 1. Juli 2006 weiterhin eine ganze Invalidenrente zuzusprechen. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung. 