A.- Der 1961 geborene, aus dem Kosovo stammende S._ war seit 1986 in der Schweiz als Saisonnier in verschiedenen Branchen tätig. Ab 1. Mai 1994 übte er bei der Firma H._ eine auf den 17. Dezember 1994 befristete Beschäftigung als Gebäudereiniger aus, welche er infolge akut aufgetretener Rückenbeschwerden am 7. Dezember 1994 aufgab. Seither geht er keiner Erwerbstätigkeit mehr nach. Die Fremdenpolizei des Kantons St. Gallen erteilte hierauf für das Jahr 1995 keine Saisonbewilligung mehr und wies S._ an, die Schweiz zu verlassen. Wegen fehlender Ausweispapiere für eine Rückkehr in seine Heimat hält dieser sich indes weiterhin hier auf. Am 6. November 1995 meldete sich S._ bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons St. Gallen holte Auskünfte in medizinischer sowie erwerblich-beruflicher Hinsicht ein und veranlasste eine Begutachtung durch die Medizinische Abklärungsstelle (MEDAS; Expertise vom 27. November 1996). Nach Durchführung des Vorbescheidverfahrens lehnte sie einen Rentenanspruch des Versicherten mit der Begründung ab, es sei zwar vom 15. Dezember 1994 bis 27. September 1996 eine Arbeits- und Erwerbsunfähigkeit von 40 % ausgewiesen, mangels zivilrechtlichen Wohnsitzes in der Schweiz könnte jedoch lediglich eine Invalidenrente basierend auf einem Invaliditätsgrad von mindestens 50 % ausgerichtet werden (Verfügung vom 16. September 1997). B.- Hiegegen liess S._ beim Versicherungsgericht des Kantons St. Gallen Beschwerde erheben und beantragen, es sei ihm ab 1. Dezember 1995 bis auf weiteres eine ganze Invalidenrente auszurichten. Lite pendente hob die IV-Stelle den angefochtenen Verwaltungsakt auf und sprach dem Versicherten mit Verfügung vom 29. Januar 1998 eine halbe Härtefallrente mit Wirkung ab 1. Dezember 1995 bis 30. September 1996 zu. S._ hielt an seinem Rechtsmittel fest. Das angerufene Gericht wies die Beschwerde ab, da nach der Aktenlage im massgeblichen Zeitraum weder ein höherer Invaliditätsgrad als 40 % noch eine über diesen Zeitpunkt hinaus andauernde Arbeitsunfähigkeit nachgewiesen seien (Entscheid vom 23. November 1999). C.- S._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, in Aufhebung des kantonalen Entscheides sei die IV-Stelle zu verpflichten, den Sachverhalt rechtsgenügend zu ermitteln und alsdann über einen Rentenanspruch ab 1. Oktober 1996 zu verfügen. Ferner ersucht er um unentgeltliche Verbeiständung. Während die IV-Stelle auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, hat sich das Bundesamt für Sozialversicherung nicht vernehmen lassen. 