Sachverhalt: Sachverhalt: A. X._ befand sich wegen verschiedener rechtskräftig ausgefällter Freiheitsstrafen seit dem 23. Juli 2003 im Strafvollzug. Aus diesem sollte er ursprünglich im März 2004 entlassen werden. Mit Urteil vom 8. März 2004 wurde X._ vom Kreisgericht Rheintal der mehrfachen Widerhandlung gegen das Betäubungsmittelgesetz (u.a. zum Eigenkonsum), der räuberischen Erpressung, des gewerbsmässigen Betrugs, des gewerbsmässigen Kreditkartenmissbrauchs sowie verschiedener SVG-Delikte für schuldig befunden. Es wurde eine Gefängnisstrafe von zwei Jahren und neun Monaten ausgesprochen. Dieser Entscheid ist noch nicht in Rechtskraft erwachsen. Mit Urteil vom 8. März 2004 wurde X._ vom Kreisgericht Rheintal der mehrfachen Widerhandlung gegen das Betäubungsmittelgesetz (u.a. zum Eigenkonsum), der räuberischen Erpressung, des gewerbsmässigen Betrugs, des gewerbsmässigen Kreditkartenmissbrauchs sowie verschiedener SVG-Delikte für schuldig befunden. Es wurde eine Gefängnisstrafe von zwei Jahren und neun Monaten ausgesprochen. Dieser Entscheid ist noch nicht in Rechtskraft erwachsen. B. Mit Entscheid des Haftrichters vom 16. März 2004 wurde X._ ab dem 18. März 2004 (vorgesehene Entlassung aus dem ordentlichen Strafvollzug) wegen Fortsetzungsgefahr in Untersuchungshaft versetzt. Die Staatsanwaltschaft verfügte am 24. März 2004 auf entsprechenden Antrag X._s hin am gleichen Tag dessen Einweisung in den vorzeitigen Strafvollzug. Vorbehalten blieb der Entscheid der Anklagekammer des Kantons St. Gallen über eine allfällige Beschwerde gegen den Entscheid des Haftrichters vom 16. März 2004. B. Mit Entscheid des Haftrichters vom 16. März 2004 wurde X._ ab dem 18. März 2004 (vorgesehene Entlassung aus dem ordentlichen Strafvollzug) wegen Fortsetzungsgefahr in Untersuchungshaft versetzt. Die Staatsanwaltschaft verfügte am 24. März 2004 auf entsprechenden Antrag X._s hin am gleichen Tag dessen Einweisung in den vorzeitigen Strafvollzug. Vorbehalten blieb der Entscheid der Anklagekammer des Kantons St. Gallen über eine allfällige Beschwerde gegen den Entscheid des Haftrichters vom 16. März 2004. C. Am 26. März 2004 reichte X._ bei der Anklagekammer des Kantons St. Gallen Rechtsverweigerungsbeschwerde gegen den Entscheid des Haftrichters vom 16. März 2004 ein. Die Anklagekammer wies die Beschwerde in ihrer Sitzung vom 20. April 2004 ab, da sie die Voraussetzung des besonderen Haftgrundes der Fortsetzungsgefahr als erfüllt erachtete. C. Am 26. März 2004 reichte X._ bei der Anklagekammer des Kantons St. Gallen Rechtsverweigerungsbeschwerde gegen den Entscheid des Haftrichters vom 16. März 2004 ein. Die Anklagekammer wies die Beschwerde in ihrer Sitzung vom 20. April 2004 ab, da sie die Voraussetzung des besonderen Haftgrundes der Fortsetzungsgefahr als erfüllt erachtete. D. Mit Eingabe vom 1. Juni 2004 erhebt X._ staatsrechtliche Beschwerde gegen das Urteil der Anklagekammer vom 20. April 2004. Er beantragt die Aufhebung des Entscheides wegen Verletzung von Art. 10 BV, eventualiter die Zurückweisung der Angelegenheit an die Anklagekammer zur Neubeurteilung. Des Weitern ersucht er um Gewährung der unentgeltlichen Rechtspflege sowie um die angemessene Erhöhung der Anwaltsentschädigung für die Verfahren vor den kantonalen Instanzen. In seiner Beschwerdeergänzung vom 2. Juni 2004 begründet er sein Begehren um Heraufsetzung der anwaltlichen Entschädigung in den kantonalen Verfahren vor dem Haftrichter und der Anklagekammer. Die Anklagekammer des Kantons St. Gallen verzichtet unter Verweis auf den angefochtenen Entscheid auf eine Vernehmlassung. Desgleichen sieht der Haftrichter von einer Stellungnahme ab. Der Staatsanwalt des Kantons St. Gallen schliesst auf Abweisung der Beschwerde. In seiner Replik hält der Beschwerdeführer sinngemäss an seinen Anträgen fest. 