Fatti: A. La particella n. 259 RFD di V._, edificata e di proprietà comune di D.D._ e C.D._, è al beneficio dal febbraio 1966 di una servitù di passo con ogni veicolo, della larghezza di 2.50 m, sulla contigua particella n. 260, anch'essa edificata e in comproprietà di A.A._ e B.A._. La servitù collega la particella n. 259 direttamente alla soprastante strada comunale. In seguito a frazionamenti la particella n. 259 è divenuta beneficiaria di una servitù di passo pedonale e con ogni veicolo anche sulle particelle n. 253, 254, 255 e 258 (dal dicembre 1966) e sulla particella n. 611 (dal maggio 1993). Il 10 novembre 1994 il Comune di V._ ha rilasciato ai comproprietari del fondo n. 258 (C.D._ ed E.D._) ed ai comproprietari del fondo n. 611 (F.G._ e G.G._) una licenza edilizia per la formazione di un accesso che attraverso i fondi n. 611, 253, 254, 255 e 256 (quest'ultima particella è una strada consortile di uso pubblico) sbocca sulla sottostante strada comunale. Tale percorso non è asfaltato, ma coperto di uno strato di ghiaia dall'imbocco fino al confine con il fondo n. 611 (contiguo al fondo n. 259). Con petizione 7 marzo 1996 A.A._ e B.A._ hanno convenuto D.D._ e C.D._ dinanzi al Pretore del Distretto di Lugano per ottenere la cancellazione della servitù di passo gravante il loro fondo, in via subordinata dietro versamento di un'indennità da determinare. Dopo il decesso di D.D._ in data 6 marzo 2005, il figlio C.D._ le è subentrato nella lite. Con decisione 30 dicembre 2010 il Pretore ha respinto la petizione. B. Con sentenza 30 maggio 2013 la I Camera civile del Tribunale d'appello del Cantone Ticino ha respinto un appello 10 febbraio 2011 di A.A._ e B.A._, confermando la decisione pretorile. C. Con " ricorso in materia di diritto privato " 10 luglio 2013 A.A._ e B.A._ hanno impugnato la sentenza d'appello al Tribunale federale. In via principale essi ne hanno chiesto la riforma nel senso che la loro petizione sia accolta. In via subordinata essi hanno postulato il rinvio della causa al Tribunale d'appello per determinare l'indennità di riscatto della servitù. Con risposta 9 dicembre 2013 C.D._ ha proposto la reiezione del gravame. L'autorità inferiore ha invece indicato di non avere osservazioni da formulare. 