Sachverhalt: A. Dr. med. X._ ist als Selbständigerwerbender der Ausgleichskasse medisuisse angeschlossen und seit 1. April 2005 freiwillig bei der Personalvorsorgestiftung der Ärzte und Tierärzte (PAT BVG) berufsvorsorgeversichert. Gemäss Bescheinigung der PAT BVG vom 24. Januar 2008 hatte X._ 2007 Einlagen in der Höhe von insgesamt Fr. 100'344.- (Fr. 40'344.- ordentliche Beiträge und Fr. 60'000.- für den Einkauf von Beitragsjahren) geleistet. Gestützt auf die Steuermeldung der Veranlagungsbehörde Grenchen vom 31. Juli 2008 setzte die Ausgleichskasse medisuisse seine Beiträge für 2007 fest. Bei der Ermittlung des beitragspflichtigen Einkommens berücksichtigte sie die Hälfte der in diesem Jahr getätigten Einlagen in die PAT BVG. Mit Verfügung vom 12. August 2008 verpflichtete die Ausgleichskasse medisuisse X._ zur Bezahlung von Fr. 24'179.40 (AHV-Beiträge für 2007 und Verwaltungskosten). Daran hielt sie mit Einspracheentscheid vom 3. September 2008 fest. B. Die Beschwerde des X._ wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 29. Mai 2009 ab. C. X._ lässt Beschwerde in öffentlichrechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Entscheid vom 29. Mai 2009 sei aufzuheben und seine Einlage in die PAT BVG sei vollumfänglich als Geschäftsaufwand für die Berechnung der AHV-Beiträge anzuerkennen. Kantonales Gericht, Ausgleichskasse medisuisse und Bundesamt für Sozialversicherungen beantragen die Abweisung der Beschwerde. 