Sachverhalt: A. A.a. Nachdem ihm die Ausgleichskasse des Kantons Zürich mit Verfügung vom 27. März 2012 ab 1. Juli 2012 eine Altersrente der AHV von Fr. 1'316.- zugesprochen hatte, ersuchte D._ mit an die Gemeindeverwaltung, Sozialabteilung EL adressiertem Schreiben vom 1. Mai 2012 um "Zusprechung der gesetzlich vorgesehenen Ergänzungsleistungen". In der Folge forderte ihn die Leiterin Sozialversicherungen, Zusatzleistungen zur AHV/IV, Geschäftsstelle X._ (nachfolgend: Durchführungsstelle), mehrmals auf, verschiedene noch fehlende Unterlagen einzureichen, welchem Ersuchen er unter Angabe der Gründe nur teilweise nachkam. Mit Schreiben vom 27. Juli 2012 teilte die Durchführungsstelle D._ mit, falls er die erwähnten Unterlagen nicht bis Ende August 2012 eingereicht haben sollte, könnte auf sein Leistungsgesuch nicht eingetreten werden. A.b. Am 6. August 2012 reichte D._ beim Bezirksrat Beschwerde ein und beantragte u.a., die Durchführungsstelle sei anzuweisen, die Berechnung seines Anspruchs auf Zusatzleistungen aufgrund der vorgelegten Unterlagen zu vollziehen und zu verfügen. Der Bezirksrat überwies die Eingabe zuständigkeitshalber an das Sozialversicherungsgericht des Kantons Zürich. Mit Verfügung vom 4. September 2012 stellte die Durchführungsstelle die Gesuchsbearbeitung ein mit der Begründung, die verlangten Unterlagen seien bis heute nicht eingereicht worden. A.c. Mit Entscheid vom 31. Oktober 2012 wies das kantonale Sozialversicherungsgericht die Beschwerde vom 6. August 2012 ab, soweit es darauf eintrat, wobei es in der Begründung festhielt, es bleibe dem Beschwerdeführer unbenommen, gegen die zwischenzeitlich erlassene Nichteintretensverfügung vom 4. September 2012 Einsprache zu erheben. A.d. Am 11. Dezember 2012 reichte D._ beim Bezirksrat Beschwerde ein und beantragte u.a., die Verfügung vom 4. September 2012 sei ungültig zu erklären, das Gesuchsverfahren sei "mit dem Status vom 6. August 2012 fortzuführen" und die Durchführungsstelle anzuweisen, die Zusatzleistung aufgrund der gesetzlichen Bestimmungen "und der vorhandenen Unterlagen zu berechnen", zu verfügen und auszuzahlen. Der Bezirksrat überwies die Eingabe an die Durchführungsstelle als "erste Rechtsmittelinstanz". Diese trat mit Einspracheentscheid vom 23. Januar 2013 darauf nicht ein mit der Begründung, die Rechtsmittelfrist zur Anfechtung der Verfügung vom 4. September 2012 sei unbenutzt abgelaufen. B. Die Beschwerde des D._ wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 28. März 2013 ab, soweit es darauf eintrat. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt D._ in der Hauptsache, der Entscheid vom 28. März 2013 und die Verfügung vom 4. September 2012 seien aufzuheben, die Durchführungsstelle sei anzuweisen, das Gesuch vom 1. Mai 2012 mit Stand vom 6. August 2012 fortzuführen und die Zusatzleistungen aufgrund der vorhandenen Unterlagen unverzüglich zu berechnen und den berechneten Betrag anzuweisen, unter Gewährung der unentgeltlichen Prozessführung. Die Durchführungsstelle für Zusatzleistungen zur AHV/IV der Stadt X._ schliesst auf Abweisung der Beschwerde. Das kantonale Sozialversicherungsgericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. 