Sachverhalt: A. Die Staatsanwaltschaft des Kantons St. Gallen führt eine Strafuntersuchung gegen X._. Mit Schreiben vom 17. April 2013 stellte der fallführende Staatsanwalt Y._ dem amtlichen Verteidiger des Beschuldigten in Aussicht, er beabsichtige die Einstellung des Verfahrens hinsichtlich der Tatbestände der qualifizierten Widerhandlung gegen das Betäubungsmittelgesetz und der Übertretung gemäss dem Bundesgesetz über die Schwarzarbeit sowie die Anklageerhebung wegen versuchten Betrugs, (gewerbsmässiger) Hehlerei, Irreführung der Rechtspflege und weiterer Straftatbestände. Zugleich setzte er Frist zur Einreichung von Beweisanträgen an und lud den Verteidiger im Begleitschreiben ein, zum allfälligen Widerruf einer bedingt ausgesprochenen Geldstrafe Stellung zu nehmen. Am 19. April 2013 ersuchte der Verteidiger den Staatsanwalt um Zustellung weiterer Akten und um Fristverlängerung. Im Weiteren schrieb er: "Im übrigen lehne ich Sie definitiv als befangen ab und verzichte dementsprechend Ihnen gegenüber auch auf eine Stellungsnahme zu einem allfälligen Widerruf einer angeblich bedingt ausgesprochenen Geldstrafe. Ihnen Argumente der Entlastung zur sachlichen Prüfung ... vorzulegen, ist von vorneherein ein untauglicher Versuch einer wirksamen Verteidigung ... Das Gericht wird entscheiden." Am 22. April 2013 leitete der Staatsanwalt das Schreiben des Verteidigers als Ausstandsgesuch zum Entscheid an die Anklagekammer des Kantons St. Gallen weiter und führte dazu aus, er halte sich nicht für befangen und könne auch sonst keinen Ausstandsgrund erkennen. Am 23. April 2013 informierte die Anklagekammer den Verteidiger über die Entgegennahme seines Schreibens als Ausstandsgesuch gegen den Staatsanwalt und liess ihm dessen Stellungnahme dazu in Kopie zukommen. Sie orientierte den Verteidiger weiter, es seien grundsätzlich keine Verfahrensanordnungen vorgesehen. Der Entscheid über das Ausstandsbegehren werde ohne weiteres Beweisverfahren gestützt auf die Akten erfolgen. Mit Entscheid vom 14. Mai 2013 (eröffnet am 28. Mai 2013) trat die Anklagekammer auf das Ausstandsbegehren nicht ein und auferlegte die Entscheidgebühr von Fr. 1'500.-- "dem Beschwerdeführer". Am 23. Mai 2013 reichte der Verteidiger der Anklagekammer verschiedene Dokumente betreffend die Verfahrensführung des Staatsanwalts mit einem Begleitschreiben nach. B. Mit Eingabe vom 25. Juni 2013 führt X._ gegen den Entscheid der Anklagekammer Beschwerde beim Bundesgericht mit dem Antrag, der angefochtene Entscheid sei ersatzlos aufzuheben. Zudem stellt er ein Gesuch um Gewährung der amtlichen Verteidigung für das bundesgerichtliche Beschwerdeverfahren und - mit Schreiben vom 9. Juli 2013 - ein Begehren um Gewährung der aufschiebenden Wirkung. Der Beschwerdeführer rügt die unrichtige Feststellung des Sachverhalts und die Verletzung des Willkürverbots sowie des Anspruchs auf rechtliches Gehör. Die Staatsanwaltschaft und die Anklagekammer des Kantons St. Gallen haben auf eine Vernehmlassung verzichtet. Mit Verfügung vom 5. August 2013 hat der Präsident der I. öffentlich-rechtlichen Abteilung das Gesuch um aufschiebende Wirkung abgewiesen. 