Sachverhalt: A. P._ (geboren 1946) verheiratete sich 1981 mit O._. Der Ehe entsprossen der 1981 geborene M._ und der 1984 geborene S._. Am 11. Januar 1990 wurde die Ehe geschieden; die beiden Söhne wurden unter die elterliche Gewalt (heute: Sorge) der Mutter gestellt. Mit Verfügung vom 12. Mai 2006 sprach die IV-Stelle Bern P._ ab 1. Juni 2006 eine Dreiviertelsrente der Invalidenversicherung zu. Des Weitern richtete sie ihm Kinderrenten für die beiden Söhne aus. Am 3. Oktober 2006 beantragte O._ die Auszahlung der Kinderrenten an die Söhne, "sofern Anspruch besteht". Am 23. November 2006 verfügte die IV-Stelle Bern, die Kinderrente für den weiterhin in Ausbildung befindlichen S._ werde ab 1. Dezember 2006 direkt auf dessen Konto überwiesen. Über eine allfällige Nachzahlung werde zu einem späteren Zeitpunkt befunden. B. Beschwerdeweise beantragte P._ sinngemäss, die Verwaltungsverfügung sei aufzuheben und die Kinderrente für S._ an ihn auszuzahlen. Nach Beiladung zum Verfahren liess S._ verlauten, er habe seit 1. Januar 2005 freiwillig auf Unterhaltsbeiträge seitens des Vaters verzichtet; seine Mutter habe den Antrag auf Direktauszahlung ohne sein Wissen, aber in seinem Interesse gestellt. Er begrüsse das Verfahren insofern, als nun der Rechtsanspruch auf eine Rente genau geklärt werden könne. Er habe seinen Hauptwohnsitz nach wie vor bei der Mutter. Die ebenfalls als Mitinteressierte zum Verfahren beigeladene O._ hielt am Gesuch um Direktauszahlung der Kinderrente fest. Mit Entscheid vom 5. April 2007 hiess das Verwaltungsgericht des Kantons Bern die Beschwerde gut und hob die Verfügung vom 23. November 2006 auf. C. S._ lässt Beschwerde führen mit dem Antrag, es sei der kantonale Entscheid aufzuheben und die Kinderrente direkt auf das von ihm bezeichnete Konto zu überweisen. O._ unterstützt die Beschwerde ihres Sohnes. P._ beantragt die Abweisung des Rechtsmittels. Die IV-Stelle und das Bundesamt für Sozialversicherungen (BSV) verzichten auf eine Vernehmlassung. 