Sachverhalt: Nach Vornahme erwerblicher und medizinischer Abklärungen lehnte die IV-Stelle des Kantons St. Gallen mit Verfügung vom 28. Mai 2002 den Leistungsanspruch des T._, geboren 1971, ab, was vom Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 1. Mai 2003 bestätigt worden ist. Auf eine neue Anmeldung zum Rentenbezug vom 28. Mai 2003 trat die Verwaltung mit Verfügung vom 11. Dezember 2003 nicht ein, was sie mit Einspracheentscheid vom 19. März 2004 bestätigte. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 26. August 2004 ab. T._ lässt Verwaltungsgerichtsbeschwerde führen mit den Anträgen, unter Aufhebung des vorinstanzlichen Entscheides und des Einspracheentscheides sei die Sache zur weiteren Abklärung an die Verwaltung zurückzuweisen, eventualiter sei auf die Neuanmeldung einzutreten und es sei ihm "bis zu einer ganzen Rente" zuzusprechen. Ferner lässt er die Gewährung der unentgeltlichen Verbeiständung beantragen. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet. 