Sachverhalt: A. H._ war von Januar 1995 bis April 2005 (Erhalt der Niederlassungsbewilligung) quellensteuerpflichtig. Seit Februar 2003 bezieht er eine halbe Invalidenrente. Im Zuge eines Wechsels der zuständigen Ausgleichskasse (wegen Ausrichtung von Ergänzungsleistungen) erfolgten die Rentenzahlungen ab Juni 2004 - im Gegensatz zu vorher - ohne Abzug der Quellensteuer. Das Kantonale Steueramt St. Gallen teilte der Sozialversicherungsanstalt des Kantons St. Gallen diesen Sachverhalt am 27. Oktober 2005 mit, wies sie darauf hin, sie sei als Schuldnerin der steuerbaren Leistung für die Entrichtung der Quellensteuer haftbar, und forderte sie auf, vollständig über die Quellensteuer abzurechnen. Mit Verfügung vom 30. November 2005 forderte die kantonale Ausgleichskasse für den Zeitraum von Juni 2004 bis April 2005 beim Versicherten den Betrag von Fr. 1854.- zurück. Auf Einsprache des H._ hin hielt die Sozialversicherungsanstalt des Kantons St. Gallen an der Rückforderung fest (Entscheid vom 10. Februar 2006). B. Das Versicherungsgericht des Kantons St. Gallen hiess die gegen den Einspracheentscheid gerichtete Beschwerde insoweit gut, als es diesen aufhob (Entscheid vom 10. Oktober 2006). C. Die kantonale Sozialversicherungsanstalt führt Verwaltungsgerichtsbeschwerde mit dem Antrag, der vorinstanzliche Entscheid sei aufzuheben. Der Versicherte lässt auf Abweisung der Verwaltungsgerichtsbeschwerde schliessen; ausserdem ersucht er um Gewährung der unentgeltlichen Rechtspflege. Das Bundesamt für Sozialversicherungen verzichtet auf Vernehmlassung. 