Fatti: A. Il 23 novembre 1998 il Consiglio comunale di Mendrisio ha adottato la revisione del piano regolatore, che prevedeva tra l'altro la facoltà di allestire piani di quartiere alle condizioni disciplinate dall'art. 15 cpv. 2 delle sue norme di attuazione (NAPR). Con risoluzione del 2 novembre 2000 il Consiglio di Stato del Cantone Ticino ha approvato la revisione, come nelle considerazioni di merito e nella decisione dei ricorsi. Nei considerandi della decisione, ha ordinato al Comune di precisare, secondo quanto esposto nella decisione stessa, l'art. 15 cpv. 2 NAPR mediante una variante. Quest'ultima è in seguito stata elaborata dal Comune e sottoposta nel giugno del 2003 al Dipartimento del territorio per l'esame preliminare. B. Il 4 aprile 2006 la comunione ereditaria B._, quale proprietaria, e la A._AG, quale istante, hanno presentato due domande di costruzione per un piano di quartiere concernente i fondi part. n. 602, 603 e 604 di Mendrisio e per la relativa edificazione con due blocchi di condomini. Numerosi vicini, segnatamente le parti qui resistenti, si sono opposti alla domanda. Con decisioni del 2 ottobre 2006, il Municipio, acquisito il preavviso favorevole dell'autorità cantonale, ha rilasciato le licenze edilizie con cui ha approvato sia il piano di quartiere sia la sua realizzazione, respingendo nel contempo le opposizioni. Gli opponenti hanno allora adito il Consiglio di Stato, che, con risoluzione del 6 marzo 2007, ha accolto i gravami e annullato le licenze edilizie. Il Governo ha essenzialmente rilevato che l'art. 15 cpv. 2 NAPR non era in vigore siccome non era stato approvato, la variante del giugno 2003 essendo peraltro stata oggetto unicamente dell'esame preliminare. Con risoluzione del 22 marzo 2007, in accoglimento di un'istanza di revisione della A._AG e della comunione ereditaria B._, il Governo ha rilevato che la mancata indicazione della comunione ereditaria quale parte soccombente nella decisione del 6 marzo 2007 costituiva un'inavvertenza, correggendo quindi il vizio. C. Con sentenza del 9 luglio 2007 il Tribunale cantonale amministrativo ha respinto i ricorsi presentati dalla comunione ereditaria B._ e dalla A._AG, nonché dal Comune di Mendrisio, contro le risoluzioni governative. La Corte cantonale ha ritenuto che non sussistesse alcun dubbio circa l'inapplicabilità dell'art. 15 cpv. 2 NAPR per la mancata approvazione da parte del Consiglio di Stato. D. La comunione ereditaria B._ e la A._AG impugnano con un ricorso in materia di diritto pubblico e un ricorso sussidiario in materia costituzionale al Tribunale federale questo giudizio, chiedendo di annullarlo. Fanno valere la violazione del diritto di essere sentiti, del divieto dell'arbitrio, della garanzia della proprietà e della libertà economica. E. La Corte cantonale si conferma nella sua sentenza, mentre il Consiglio di Stato si rimette al giudizio del Tribunale federale. Pure il Comune di Mendrisio si rimette al giudizio di questa Corte, ribadendo nondimeno di ritenere l'art. 15 cpv. 2 NAPR approvato. Gli opponenti postulano sostanzialmente la reiezione del gravame. 