Fatti: A. Prima di sposarsi, con contratto matrimoniale e successorio del 5 marzo 1966, F.A._ e la sua seconda moglie G.A._ hanno convenuto di adottare il regime della separazione dei beni e di rinunciare alle rispettive pretese ereditarie. Nel contempo i figli di primo letto A.A._ e H.A._ si sono impegnati a versare alla moglie del padre, in caso di decesso di quest'ultimo, una rendita vitalizia annuale di fr. 35'000.--, da adeguare ogni tre anni all'indice del costo della vita. F.A._ è deceduto il 18 dicembre 1977 e da quel momento il pagamento della rendita è quindi divenuto effettivo. B. Nella dichiarazione d'imposta relativa al periodo fiscale 2001/2002, i coniugi A.A._ e B.A._ hanno chiesto di poter dedurre dal reddito lordo l'importo di fr. 54'039.--, corrispondente alla metà della rendita annua pagata ad G.A._ negli anni 1999/2000 (fr. 108'077.-- in media annua). Diversamente dalle precedenti notifiche, con decisione del 21 luglio 2003 l'Ufficio di tassazione di Lugano-Città non ha tuttavia ammesso la deduzione integrale della quota parte della rendita, ma l'ha ritenuta deducibile solo nella misura del 40 %, pari a fr. 21'616.--. Contro tale decisione, A.A._ e B.A._ hanno dapprima interposto reclamo, respinto il 28 maggio 2007, e sono successivamente insorti dinanzi alla Camera di diritto tributario del Tribunale d'appello. Esperita un'udienza e preso atto che le figlie erano subentrate a B.A._, nel frattempo deceduta, con sentenza del 29 aprile 2008 anche la Corte cantonale ha confermato la tassazione litigiosa. C. Il 17 giugno 2008 A.A._ e la comunione ereditaria fu B.A._ hanno inoltrato un ricorso in materia di diritto pubblico dinanzi al Tribunale federale con cui chiedono di annullare la sentenza della Camera di diritto tributario, di ammettere in deduzione la totalità della quota parte di rendita ed eventualmente di rinviare la causa all'autorità cantonale competente per nuovo giudizio. Lamentano la violazione di norme fiscali federali e cantonali, del divieto dell'arbitrio e dei principi di non retroattività e della buona fede. Chiamate ad esprimersi, la Divisione delle contribuzioni del Cantone Ticino e l'Amministrazione federale delle contribuzioni (Divisione principale imposta federale diretta, imposta preventiva, tasse di bollo) propongono di respingere il gravame, mentre la Camera di diritto tributario del Tribunale d'appello non presenta formali richieste di giudizio. 