Faits: A. A._, ressortissant espagnol né en 1983, a fait l'objet d'une décision de renvoi de Suisse en 2002. Il s'est marié en Suisse à une ressortissante portugaise et a obtenu un permis de séjour, mais celui-ci n'a pas été prolongé et l'intéressé a dû quitter la Suisse pour fin janvier 2006. Retourné en Suisse où il a reconnu un enfant, il a fait l'objet d'une interdiction d'entrée jusqu'au 29 novembre 2009, puis d'un refoulement le 31 mai 2010 après plusieurs condamnations, et d'une nouvelle interdiction d'entrée jusqu'au 29 novembre 2011. Il est revenu en Suisse le 29 janvier 2012 pour y travailler et bénéficie depuis le 25 juillet 2012 d'un permis de séjour valable jusqu'en 2017. Le 26 septembre 2012, A._ a obtenu en Espagne un permis de conduire catégorie B, dont il a demandé le 25 octobre 2012 l'échange avec un permis suisse auprès du Service des automobiles et de la navigation du canton de Neuchâtel (SCAN). Le 21 novembre 2012, le SCAN a informé l'intéressé qu'il envisageait de prononcer une interdiction d'utiliser en Suisse le permis étranger, le principe de l'octroi du permis de conduire par l'autorité du lieu de domicile ayant été éludé. Dans ses observations, l'intéressé indiquait qu'il avait passé l'examen théorique et suivi des cours d'auto-école en Espagne en septembre et octobre 2011. Il avait trouvé du travail en Suisse, mais avait dû passer l'examen pratique en Espagne avant l'échéance du délai. B. Par décision du 21 janvier 2013, le SCAN a refusé l'échange du permis étranger contre un permis suisse et a interdit l'usage du permis de conduire espagnol sur l'ensemble du territoire suisse et au Liechtenstein; la restitution du droit de conduire était subordonnée à la réussite des examens usuels complets après obtention du permis d'élève conducteur. Cette décision a été confirmée sur recours par décision du Chef du Département de la gestion du territoire du canton de Neuchâtel du 18 juin 2013, puis par arrêt de la Cour de droit public du Tribunal cantonal du 13 décembre 2013. L'intéressé résidait en Suisse depuis plus de trois mois lorsqu'il avait obtenu son permis en Espagne. Même si l'autorité communale lui avait donné des assurances erronées quant à son droit de passer son permis en Espagne, elle n'avait pas agi dans le cadre de ses compétences. Il n'y avait pas lieu de s'inspirer de la jurisprudence apparemment plus souple suivie en la matière par les tribunaux vaudois. Le recours étant considéré comme dénué de chances de succès, la demande d'assistance judiciaire a été rejetée et les frais, par 770 fr., ont été mis à la charge du recourant. C. A._ forme un recours en matière de droit public par lequel il demande au Tribunal fédéral d'annuler l'arrêt cantonal et d'ordonner au SCAN d'échanger, sans examen ni course de contrôle, le permis de conduire espagnol contre un permis suisse de mêmes catégories. Subsidiairement, il demande à être mis au bénéfice de l'assistance judiciaire pour la procédure cantonale. Il requiert également l'assistance judiciaire pour la procédure fédérale. La cour cantonale, le département cantonal de la justice et le SCAN, ainsi que l'Office fédéral des routes concluent au rejet du recours, sans présenter d'observations. 