A.- Par décision du 13 octobre 1998, l'Office cantonal genevois de l'assurance-invalidité (l'office AI) a alloué une demi-rente d'invalidité à P._. B.- Représenté par l'Hospice général, Institution genevoise d'action sociale (ci-après : l'Hospice général), l'assuré a déféré cette décision à la Commission cantonale genevoise de recours en matière d'AVS/AI, en concluant au versement d'une rente entière. Par décision du 17 février 1999, rendue pendente lite, l'administration a annulé sa décision litigieuse et alloué à l'assuré une rente entière d'invalidité. Se déclarant satisfait, ce dernier a retiré son recours, par écriture du 30 mars 1999. Le 21 avril 1999, la commission de recours a rendu un jugement dont le dispositif tient dans les termes suivants : 1. Constate que le recours a été retiré. 2. Raye la cause du rôle. 3. Octroie au recourant la somme de 500 fr. à titre de participation aux frais de son mandataire. C.- L'office AI interjette recours de droit administratif contre ce jugement. Il en demande l'annulation dans la mesure où une indemnité de dépens de 500 francs est allouée à P._. Ce dernier et la commission de recours s'en remettent à justice. Quant à l'Office fédéral des assurances sociales, il propose l'admission du recours. Les moyens des parties seront exposés ci-après en tant que de besoin. 