Sachverhalt: Sachverhalt: A. Der 1944 geborene M._ war als Gartenbauarbeiter bei der Firma S._ AG tätig gewesen, zuletzt im Rahmen eines befristeten Arbeitsvertrages vom 9. März bis 31. Oktober 1998. Dabei war er bei der Personalfürsorgestiftung der Firma X._ AG, welche die Firma S._ AG per Ende 1997 übernommen hatte, berufsvorsorgerechtlich versichert. Wegen Rückenschmerzen, wozu in der Folge noch Beschwerden im rechten Ellbogen kamen, war er ab 17. August 1998 arbeitsunfähig (Arztzeugnis des Dr. med. N._ vom 17. März 1999). Eine stationäre Abklärung und Behandlung in der Klinik Z._ vom 5. bis 26. Mai 1999 zeigte eine deutliche Diskrepanz zwischen den objektiven Befunden und den geltend gemachten Beschwerden. Aus somatischer Sicht wurde die Ausübung einer leichten Tätigkeit als voll zumutbar erachtet (Bericht vom 24. Juni 1999). Am 28. Juli 1999 meldete sich M._ zum Leistungsbezug bei der Invalidenversicherung an. Die IV-Stelle Appenzell A.Rh. traf nähere Abklärungen und ordnete einen Aufenthalt in der Institution I._ an, wo eine deutliche psychische Überlagerung der Beschwerden festgestellt wurde (Bericht vom 4. Februar 2001). Eine psychiatrische Untersuchung in der Klinik A._ vom 1. März 2001 führte zur Diagnose einer rezidivierenden depressiven Störung mit somatischen Symptomen bei vorbestandener Zwangspersönlichkeitsstörung (ICD-10 F33.11 und F60.5). Im Bericht vom 8. März 2001 gab Dr. med. K._, Leitender Arzt dieser Klinik, aus psychiatrischer Sicht eine dauernde volle Arbeitsunfähigkeit an. Am 19. Juni 2001 erliess die IV-Stelle nach Durchführung des Vorbescheidverfahrens eine Verfügung, mit welcher sie dem Versicherten mit Wirkung ab 1. Januar 2000 eine ganze Rente aufgrund eines Invaliditätsgrades von 100 % zusprach. Am 19. Juli 2001 liess M._ bei der Personalfürsorgestiftung der Firma X._ AG um Zusprechung einer Invalidenleistung gemäss BVG ersuchen, was von der Vorsorgeeinrichtung mit der Begründung abgewiesen wurde, aus somatischer Sicht bestehe eine volle Arbeitsfähigkeit in einer leichten Tätigkeit und der Rentenentscheid der Invalidenversicherung gehe von einer vollständigen Arbeitsunfähigkeit aus psychischen Gründen ab Januar 2000 aus, in welchem Zeitpunkt M._ nicht mehr versichert gewesen sei. Am 19. Juli 2001 liess M._ bei der Personalfürsorgestiftung der Firma X._ AG um Zusprechung einer Invalidenleistung gemäss BVG ersuchen, was von der Vorsorgeeinrichtung mit der Begründung abgewiesen wurde, aus somatischer Sicht bestehe eine volle Arbeitsfähigkeit in einer leichten Tätigkeit und der Rentenentscheid der Invalidenversicherung gehe von einer vollständigen Arbeitsunfähigkeit aus psychischen Gründen ab Januar 2000 aus, in welchem Zeitpunkt M._ nicht mehr versichert gewesen sei. B. Hiegegen liess M._ beim Versicherungsgericht des Kantons St. Gallen Klage erheben und beantragen, die Personalfürsorgestiftung der Firma X._ AG sei zu verpflichten, ihm mit Wirkung spätestens ab 1. August 2000 eine Invalidenrente auszurichten; eventuell sei sie zu verpflichten, ihm eine Austrittsleistung von Fr. 52'078.50, zuzüglich Zins, auszuzahlen. Das kantonale Versicherungsgericht wies die Klage im Wesentlichen mit der Begründung ab, dass die psychisch bedingte Arbeitsunfähigkeit im Januar 1999 und damit auch unter Berücksichtigung der bis Ende November 1998 laufenden Nachdeckungsfrist nicht während der Dauer des Versicherungsverhältnisses eingetreten sei. In somatischer Sicht sei die Arbeitsunfähigkeit am 17. August 1997 eingetreten, weshalb eine Leistungspflicht grundsätzlich gegeben sei. Die Invaliditätsbemessung führe aber zu einem Invaliditätsgrad von lediglich 23 % und erreiche damit den für den Rentenanspruch vorausgesetzten reglementarischen Mindestgrad von 25 % nicht. Unbegründet sei auch der Antrag auf Barauszahlung der Austrittsleistung (Entscheid vom 28. April 2004). Das kantonale Versicherungsgericht wies die Klage im Wesentlichen mit der Begründung ab, dass die psychisch bedingte Arbeitsunfähigkeit im Januar 1999 und damit auch unter Berücksichtigung der bis Ende November 1998 laufenden Nachdeckungsfrist nicht während der Dauer des Versicherungsverhältnisses eingetreten sei. In somatischer Sicht sei die Arbeitsunfähigkeit am 17. August 1997 eingetreten, weshalb eine Leistungspflicht grundsätzlich gegeben sei. Die Invaliditätsbemessung führe aber zu einem Invaliditätsgrad von lediglich 23 % und erreiche damit den für den Rentenanspruch vorausgesetzten reglementarischen Mindestgrad von 25 % nicht. Unbegründet sei auch der Antrag auf Barauszahlung der Austrittsleistung (Entscheid vom 28. April 2004). C. M._ lässt Verwaltungsgerichtsbeschwerde führen und die vorinstanzlichen Beschwerdebegehren erneuern; ferner ersucht er um Gewährung der unentgeltlichen Verbeiständung. Die Personalfürsorgestiftung der Firma X._AG beantragt Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung enthält sich einer Stellungnahme. 