Sachverhalt: A. A._ war bei der Pensionskasse für das Staatspersonal und die Lehrer von Appenzell Ausserrhoden (heute: Pensionskasse Appenzell Ausserrhoden) berufsvorsorgeversichert. Nach Auftreten gesundheitlicher Probleme löste der Kanton das Arbeitsverhältnis auf Ende April 2008 auf. Nachdem er bis im Februar 2009 Krankentaggelder in der Höhe von 80 % des Lohnes bezogen hatte, meldete sich A._ im März 2009 bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügungen vom 5. Februar und 16. März 2010 sprach ihm die IV-Stelle des Kantons X._ eine ganze Rente ab 1. September 2009 zu. Die Pensionskasse Appenzell Ausserrhoden anerkannte eine Leistungspflicht. Im Schreiben vom 2. Dezember 2010 hielt sie fest, es bestehe Anspruch auf eine ganze Invalidenrente mit Wirkung ab 1. September 2009, und legte die Berechnungsgrundlagen dar. Damit war A._ nicht einverstanden, der unter anderem die Nachzahlung einer IV-Übergangsrente nach altem Recht beantragte. Mit Schreiben vom 10. Januar 2011 bestätigte die Pensionskasse Appenzell Ausserrhoden Anspruchsbeginn und Höhe der Rente. B. Am 21. April 2011 liess A._ Klage beim Obergericht Appenzell Ausserrhoden einreichen mit dem hauptsächlichen Rechtsbegehren, die Pensionskasse Appenzell Ausserrhoden sei zu verpflichten, Leistungen auf der Basis der Verordnung vom 21. Juni 1999 über die Pensionskasse von Appenzell Ausserrhoden und zudem eine IV-Überbrückungsrente ab 1. Februar bis 1. September 2009 auszurichten. Nach Klageantwort der Pensionskasse und einem zweiten Schriftenwechsel wies das Obergericht mit Entscheid vom 20. März 2013 das Rechtsmittel im Sinne der Erwägungen ab, soweit es darauf eintrat. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die Pensionskasse Appenzell Ausserrhoden, der Entscheid vom 20. März 2013 sei aufzuheben und die Klage vollumfänglich abzuweisen. A._ ersucht um Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen (BSV) hat auf eine Vernehmlassung verzichtet. 