Fatti: Fatti: A. Domiciliata a X._ e proprietaria di un patrimonio di diverse decine di milioni di franchi, nel biennio 1999-2000 B._ (1923) è stata tassata sulla base di un reddito imponibile pari a circa un milione di franchi. Il 29 ottobre 2000 la contribuente ha notificato al comune di domicilio la sua partenza per il Principato di Monaco; l'assoggettamento fiscale è quindi stato limitato al reddito derivante da due appartamenti di cui è rimasta proprietaria a X._, corrispondente a circa fr. 20'000.-- annui. Il 20 marzo 2003 B._ è deceduta a Rousset sur Arc (Francia). Con testamento olografo redatto il 28 luglio 1998, aveva istituito erede A._, residente a Montecarlo. A. Domiciliata a X._ e proprietaria di un patrimonio di diverse decine di milioni di franchi, nel biennio 1999-2000 B._ (1923) è stata tassata sulla base di un reddito imponibile pari a circa un milione di franchi. Il 29 ottobre 2000 la contribuente ha notificato al comune di domicilio la sua partenza per il Principato di Monaco; l'assoggettamento fiscale è quindi stato limitato al reddito derivante da due appartamenti di cui è rimasta proprietaria a X._, corrispondente a circa fr. 20'000.-- annui. Il 20 marzo 2003 B._ è deceduta a Rousset sur Arc (Francia). Con testamento olografo redatto il 28 luglio 1998, aveva istituito erede A._, residente a Montecarlo. B. Dopo il decesso, fondandosi in particolare sulle fatture per i pasti consumati in due alberghi di X._, le autorità fiscali ticinesi hanno stabilito che in realtà l'interessata avrebbe continuato a vivere in Ticino anche dopo l'annunciato trasferimento. Alla medesima conclusione è giunto pure il Pretore di Locarno-Città nell'ambito del giudizio reso il 29 agosto 2003, ed impugnato dall'erede istituito, con cui ha ordinato i provvedimenti assicurativi per la devoluzione dell'eredità chiesti dagli eredi legali della defunta. Tenuto conto di tali circostanze, il 18 novembre 2003 l'Ufficio delle procedure speciali della Divisione delle contribuzioni ha aperto una procedura di recupero d'imposta (comunale, cantonale e federale) per gli anni 1999/2000 (novembre e dicembre 2000) e 2001/2002. B. Dopo il decesso, fondandosi in particolare sulle fatture per i pasti consumati in due alberghi di X._, le autorità fiscali ticinesi hanno stabilito che in realtà l'interessata avrebbe continuato a vivere in Ticino anche dopo l'annunciato trasferimento. Alla medesima conclusione è giunto pure il Pretore di Locarno-Città nell'ambito del giudizio reso il 29 agosto 2003, ed impugnato dall'erede istituito, con cui ha ordinato i provvedimenti assicurativi per la devoluzione dell'eredità chiesti dagli eredi legali della defunta. Tenuto conto di tali circostanze, il 18 novembre 2003 l'Ufficio delle procedure speciali della Divisione delle contribuzioni ha aperto una procedura di recupero d'imposta (comunale, cantonale e federale) per gli anni 1999/2000 (novembre e dicembre 2000) e 2001/2002. C. Il 21 gennaio 2004 l'Amministrazione dell'imposta federale diretta del Cantone Ticino ha ordinato a A._ di fornire una garanzia di fr. 354'700.--, più interessi, in relazione all'imposta a carico della defunta per gli anni fiscali 2000-2003. Egli ne risponderebbe in quanto erede istituito ed il provvedimento si giustificherebbe per l'assenza di domicilio in Svizzera. Parallelamente le autorità fiscali hanno notificato richieste di garanzia per le imposte comunali e cantonali e soprattutto per l'imposta di successione, per un totale di oltre trentatré milioni di franchi. D. Il 6 febbraio 2004 A._ ha inoltrato un ricorso di diritto amministrativo al Tribunale federale, con il quale chiede l'annullamento della richiesta di garanzia per l'imposta federale diretta. Chiamata ad esprimersi, l'Amministrazione dell'imposta federale diretta del Cantone Ticino ha proposto di respingere il ricorso. In sede di replica, rispettivamente duplica, le parti hanno precisato le loro tesi, riconfermandosi nelle precedenti conclusioni. Da ultimo, anche l'Amministrazione federale delle contribuzioni ha postulato la reiezione dell'impugnativa. 