Fatti: A. D._, A._, B._ e C._ sono proprietari dei fondi contigui part. n. 1886, 1968 e 1836 di Mendrisio, ubicati nel comprensorio delimitato a nord da via Praella, ad ovest da via Beroldingen, a sud dalla zona di attrezzature ed edifici pubblici (AEP) che ospita la scuola dell'infanzia (part. n. 1019) e ad est dal piano particolareggiato Piazzale alla Valle (PP1), nel cui perimetro era compresa anche la particella n. 1836. B. Nella seduta del 23 novembre 1998, il Consiglio comunale di Mendrisio ha adottato la revisione generale del piano regolatore, che prevedeva l'attribuzione dei fondi part. n. 1886 e 1968 alla zona residenziale intensiva R5 del comparto speciale "d", con un indice di sfruttamento dell'1,1. I proprietari sono insorti al Consiglio di Stato, chiedendo in particolare lo stralcio del fondo part. n. 1836 dal perimetro del PP1 e la concessione per i fondi part. n. 1886 e 1968 di un indice di sfruttamento di 1,32, con un abbuono del 20 % in caso di edificazione secondo un piano di quartiere. Hanno inoltre chiesto il riconoscimento delle condizioni più favorevoli applicabili alle zone contigue AEP e residenziale intensiva speciale R5d. Essi hanno segnatamente lamentato il mancato rispetto di un accordo concluso nel 1994 con il Municipio di Mendrisio nell'ambito di una procedura ricorsuale dinanzi all'allora Tribunale della pianificazione del territorio contro l'approvazione del PP1. C. Con risoluzione del 2 novembre 2000, il Consiglio di Stato del Cantone Ticino ha approvato la revisione generale del piano regolatore, accogliendo contestualmente il gravame dei ricorrenti limitatamente alla questione dello stralcio della particella n. 1836 dal PP1. Il Governo ha imposto al Comune di elaborare una variante volta ad includere questo fondo nel comparto speciale "d". I proprietari hanno impugnato la risoluzione governativa dinanzi al Tribunale della pianificazione del territorio con un ricorso dell'11 dicembre 2000, chiedendo per i fondi part. n. 1886 e 1968 la fissazione di un indice di sfruttamento di 1,32, incrementabile del 20 %, oltre alle altre condizioni concesse al fondo part. n. 1019 sito in zona AEP. Il 25 giugno 2001 si è tenuto il sopralluogo indetto dal Presidente della Corte adita, durante il quale il Municipio ha proposto, in applicazione dell'accordo del 1994, di fissare l'indice di sfruttamento a 1,2 e di inserire la particella n. 1836 nella zona R5, mantenendo il fondo edificabile ma non computabile al fine degli indici. L'Esecutivo comunale si è impegnato ad inviare al Tribunale una scheda grafica ed a sostenere un incremento del 10 % dell'indice di 1,2, a cui si sarebbe aggiunto l'abbuono del 20 % in caso di edificazione secondo un piano di quartiere. Il 25 luglio 2001 il Municipio ha inviato al Tribunale un progetto di variante in tal senso. Esprimendosi al riguardo il 10 agosto 2001, la Sezione della pianificazione urbanistica del Dipartimento del territorio ha ritenuto condivisibile la proposta municipale, ad eccezione dell'aumento all'1,3 dell'indice di sfruttamento per la zona R5d, nella quale sarebbero state inserite le particelle dei ricorrenti. I ricorrenti hanno comunicato il 23 gennaio 2006 alla Corte cantonale il loro accordo al progetto di variante. D. Nella seduta del 24 settembre 2007, il Consiglio comunale di Mendrisio ha adottato una serie di varianti del piano regolatore, estromettendo in particolare il fondo part. n. 1836 dal perimetro del PP1 e attribuendolo a una zona residenziale intensiva. I fondi part. n. 1886 e 1968 non sono per contro stati oggetto di variante. I proprietari si sono aggravati al Consiglio di Stato, chiedendo essenzialmente per i loro fondi l'aumento dell'indice di sfruttamento all'1,3. Con risoluzione del 21 ottobre 2008 il Governo ha approvato le varianti, respingendo nel contempo il gravame dei ricorrenti. Ha in particolare approvato l'inserimento del fondo part. n. 1836 nella zona residenziale intensiva R5, disciplinata dall'art. 32 delle norme di attuazione del piano regolatore (NAPR), con la precisazione che il fondo può essere edificato, ma che la sua superficie non è computabile nel calcolo delle possibilità edificatorie. E. Con un ricorso del 26 novembre 2008, i proprietari hanno adito il Tribunale cantonale amministrativo nel quale, nel frattempo, con effetto al 14 luglio 2006, era stato integrato il Tribunale della pianificazione del territorio. Dopo avere esperito un sopralluogo, con sentenza dell'11 novembre 2010 la Corte cantonale ha dichiarato irricevibile il ricorso del 26 novembre 2008 ed ha respinto quello dell'11 dicembre 2000. La Corte cantonale ha ritenuto che i ricorrenti non potessero validamente appellarsi al principio della buona fede per chiedere l'aumento dell'indice di sfruttamento per i loro fondi sulla base dell'accordo concluso con il Municipio. Solo il Consiglio comunale e il Consiglio di Stato erano infatti competenti per l'adozione, rispettivamente l'approvazione di una modifica del piano regolatore. I giudici cantonali hanno poi negato una disparità di trattamento riconducibile ai parametri edificatori più favorevoli applicabili alle confinanti zone edificabili R5d e AEP. F. D._, A._, B._ e C._ impugnano questo giudizio con un ricorso sussidiario in materia costituzionale al Tribunale federale, chiedendo di annullarlo. I ricorrenti fanno valere la violazione del principio della buona fede, del diritto di essere sentiti, del principio della parità di trattamento e del divieto dell'arbitrio. G. La Corte cantonale si riconferma nella sua sentenza. Il Consiglio di Stato condivide il giudizio impugnato, precisando che, contrariamente a quanto sostenuto dai ricorrenti, con lo scritto del 10 agosto 2001 la Sezione della pianificazione urbanistica non aveva condiviso l'aumento dell'indice di sfruttamento all'1,3. Il Comune di Mendrisio chiede di respingere il gravame nella misura della sua ammissibilità, precisando che starebbe valutando la possibilità di allestire una nuova variante di piano regolatore sostanzialmente corrispondente a quella prospettata nel 2001 dinanzi al Tribunale della pianificazione del territorio, ma rispettosa dei limiti stabiliti dall'autorità cantonale. 