Sachverhalt: A. A.a. Der 1953 geborene K._ meldete sich am 9. Januar 2008 bei der IV-Stelle des Kantons Solothurn zum Leistungsbezug an. Mit Verfügung vom 10. Februar 2009 verneinte diese einen Leistungsanspruch. Auf die dagegen erhobene Beschwerde trat das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 23. März 2009 nicht ein. A.b. Am 20. Mai 2010 meldete sich der Versicherte bei der IV-Stelle erneut zum Leistungsbezug an. Mit Verfügung vom 10. März 2011 verneinte sie den Anspruch auf berufliche Eingliederungsmassnahmen und auf eine Invalidenrente. Die dagegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons Solothurn in dem Sinne gut, dass es die Verfügung aufhob und die Sache an die IV-Stelle zurückwies, damit diese im Sinne der Erwägungen verfahre und hierauf neu entscheide (Dispositiv-Ziffer 1); es verpflichtete die IV-Stelle, dem Versicherten eine Parteientschädigung von Fr. 2'171.10 (inkl. Auslagen und Mehrwertsteuer; Dispositiv-Ziffer 2) und an die gesamten Verfahrenskosten einen Betrag von Fr. 600.- zu bezahlen (Dispositiv-Ziffer 3; Entscheid vom 19. März 2012). B. In Nachachtung des kantonalen Rückweisungsentscheids vom 19. März 2012 führte die IV-Stelle ergänzende medizinische Abklärungen durch und verneinte mit unangefochten in Rechtskraft erwachsener Verfügung vom 17. Januar 2013 den Anspruch des Versicherten auf berufliche Eingliederungsmassnahmen und auf eine Invalidenrente. C. Mit Beschwerde vom 21. März 2013 beantragt die IV-Stelle, Dispositiv-Ziffern 2 und 3 des kantonalen Entscheides vom 19. März 2012 seien aufzuheben; sie sei von jeglicher Kostentragungspflicht, insbesondere von der Pflicht zur Bezahlung einer Parteientschädigung sowie von Verfahrenskosten zu befreien; eventuell sei sie zu einer teilweisen Kostenübernahme nach richterlichem Ermessen zu verpflichten; die Kosten für das Verfahren vor dem kantonalen Gericht seien dem Versicherten und/oder seinem Rechtsvertreter zu überbinden. Der Versicherte schliesst auf Abweisung der Beschwerde; eventuell sei das amtliche Honorar seines Rechtsvertreters für das Vorverfahren im Rahmen der unentgeltlichen Rechtspflege festzusetzen; subeventuell sei die Sache an die Vorinstanz zur Festlegung des amtlichen Honorars im Rahmen der unentgeltlichen Rechtspflege zurückzuweisen; ferner verlangt er die unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren. Das Bundesamt für Sozialversicherungen (BSV) beantragt Gutheissung der Beschwerde. 