Fatti: A. I._ è stato azionista e amministratore unico della J._ SA fino al novembre 1994, quando gli è subentrato il collaboratore e gestore patrimoniale K._. La società è fallita il 14 giugno 1995. Con sentenza del 12 dicembre 2002 la Corte delle Assise correzionali di Mendrisio ha riconosciuto K._ colpevole di ripetuta truffa, appropriazione indebita qualificata e falsità in documenti e lo ha condannato a risarcire parzialmente le perdite subite dalle parti civili. Tra di loro vi erano la H._, D._ - alla quale sono succeduti gli eredi A.A._, B.A._ e C._ - nonché E.E._, F.E._ e G._. Essi avevano investito capitali in fondi costituiti da I._ e K._, tramite la J._ SA, e hanno in seguito fatto valere nel fallimento della società la parte del danno rimasta scoperta dopo il processo penale. Gli attestati di carenza beni sono stati emessi il 25 agosto 2003 per i rispettivi importi notificati: fr. 339'987.95 per H._; fr. 566'646.60 per gli eredi di D._; fr. 328'655.-- per E.E._, F.E._ e G._. In precedenza, il 2 aprile 2003, l'amministrazione del fallimento, costatata la rinuncia della massa, aveva autorizzato una parte dei creditori, tra i quali quelli menzionati sopra, ad agire in responsabilità secondo gli art. da 754 a 757 CO. B. L'8 gennaio 2004 H._, A.A._, B.A._ e C._, E.E._. F.E._ e G._ hanno promosso la causa civile direttamente davanti al Tribunale di appello ti-cinese chiedendo che I._ sia condannato a pagare loro le somme esposte negli attestati di carenza beni e che le opposizioni ai precetti esecutivi notificati al debitore siano rigettate. Gli attori rimproveravano al convenuto di essersi disinteressato della gestione dei loro patrimoni, delegandola a K._ ma senza vigilare su di lui, pur percependo laute provvigioni, e lasciandogli così compiere malversazioni per anni. Nel corso della procedura le domande di causa sono state ridotte sensibilmente in correlazione con la rettifica del risarcimento riconosciuto nella sede penale effettuata con giudizio del 5 dicembre 2005 dal Presidente delle Assise correzionali. H._ ha chiesto che le siano pagati fr. 59'267.95, A.A._, B.A._ e C._ hanno postulato il versamento di fr. 98'779.60, mentre E.E._, F.E._ e G._ hanno domandato fr. 57'988.40. Il convenuto ha chiesto di respingere la petizione, sollevando numerose eccezioni d'ordine e di merito. La III Camera civile del Tribunale di appello del Cantone Ticino l'ha in effetti respinta con sentenza del 29 novembre 2011. C. Gli attori insorgono davanti al Tribunale federale con ricorso in materia civile del 19 gennaio 2012. Prevalendosi della violazione del diritto federale, chiedono che la sentenza cantonale sia riformata con l'accoglimento della petizione e l'inversione degli oneri processuali. Il convenuto propone di respingere il ricorso con risposta del 26 marzo 2012. L'autorità cantonale non si è espressa. 