Faits : A. Par décision du 23 octobre 2012, le Conseil communal de Chamoson a autorisé la création d'un plan de quartier sur la parcelle n° 11 du cadastre communal. Ce plan prévoit la construction de huit chalets avec une route d'accès. L'opposition formée par les propriétaires voisins AA._ et BA._ a été écartée; l'opposition formée par Helvetia Nostra a été déclarée irrecevable, le projet ne portant pas sur la réalisation d'une tâche de la Confédération. Par actes du 21 décembre 2012, les opposants agissant par leur avocat, ainsi qu'Helvetia Nostra agissant par son président, ont recouru auprès du Conseil d'Etat du canton du Valais contre cette décision, en invoquant l'art. 75b Cst. B. Par décision du 18 décembre 2012, le Conseil communal de Chamoson a autorisé la construction des huit chalets et de la route d'accès, écartant derechef les oppositions formées par AA._ et BA._ et par Helvetia Nostra. Par lettre du 25 janvier 2013 le mandataire des opposants a déposé auprès du Conseil d'Etat une copie de son recours du 21 décembre 2012, pour valoir recours à l'encontre de cette seconde décision. C. Par deux décisions du 20 février 2013, le Conseil d'Etat a déclaré irrecevables les recours déposés par Helvetia Nostra (faute d'accomplissement d'une tâche de la Confédération) et rejeté ceux formés par AA._ et BA._: les permis de construire délivrés avant le 1 er janvier 2013 n'étaient pas nuls; les griefs soulevés dans le second recours (copie du premier) concernaient le plan de quartier et ne pouvaient valoir à l'encontre de l'autorisation de construire. D. Par acte du 27 mars 2013, Helvetia Nostra, AA._ et BA._ ont recouru auprès de la Cour de droit public du Tribunal cantonal valaisan contre "la décision rendue le 20 février 2013 par le Conseil d'Etat ... concernant la création d'un plan de quartier, d'une route d'accès et la construction de 8 chalets sur la parcelle 11...". La décision annexée à ce recours est celle qui concerne le plan de quartier (décision communale du 23 octobre 2012). Dans des arrêts de principe rendus le 22 mai 2013 en matière d'autorisation de construire une résidence secondaire, le Tribunal fédéral a admis la qualité pour recourir d'Helvetia Nostra (ATF 139 II 271) ainsi que l'applicabilité directe des art. 75b et 197 ch. 9 Cst. aux permis de construire délivrés après le 11 mars 2012 (ATF 139 II 243). Par arrêt du 20 décembre 2013, la Cour de droit public a rejeté le recours. Le refus du Conseil d'Etat d'entrer en matière sur le recours d'Helvetia Nostra était contraire à la jurisprudence du Tribunal fédéral; toutefois, la cause portait non pas sur la construction de résidences secondaires, mais sur la réalisation d'un plan de quartier qui ne précisait pas l'affectation des constructions. Les griefs soulevés, fondés sur l'art. 75b Cst., étaient donc sans pertinence. E. Agissant par la voie du recours en matière de droit public, Helvetia Nostra, AA._ et BA._ demandent au Tribunal fédéral d'annuler l'arrêt cantonal et les décisions communales du 23 octobre et du 18 décembre 2012, subsidiairement de n'annuler que la décision du 18 décembre 2012, plus subsidiairement de renvoyer la cause à la cour cantonale pour nouveau jugement au sens des considérants. La cour cantonale et le Conseil d'Etat ont renoncé à des observations. La commune de Chamoson et B._ concluent au rejet du recours. La recourante a renoncé à de nouvelles observations. Elle a produit, tardivement, les procurations signées par AA._ et BA._. 