Fatti: Fatti: A. Dall'8 maggio 1987 il cittadino italiano A._ (1960) beneficia di un permesso per frontalieri, rispettivamente, dopo l'entrata in vigore degli accordi bilaterali, di un permesso per confinanti CE/AELS. Egli risiede a Como con la moglie e i due figli e svolge l'attività di giardiniere presso la ditta X._, di cui è socio dal mese di ottobre del 1997, dopo avervi precedentemente lavorato per circa un anno. L'autorizzazione di cui gode è valida fino al 16 novembre 2008. A. Dall'8 maggio 1987 il cittadino italiano A._ (1960) beneficia di un permesso per frontalieri, rispettivamente, dopo l'entrata in vigore degli accordi bilaterali, di un permesso per confinanti CE/AELS. Egli risiede a Como con la moglie e i due figli e svolge l'attività di giardiniere presso la ditta X._, di cui è socio dal mese di ottobre del 1997, dopo avervi precedentemente lavorato per circa un anno. L'autorizzazione di cui gode è valida fino al 16 novembre 2008. B. Con decreto d'accusa dell'8 maggio 2000, A._ è stato condannato a 60 giorni di detenzione, sospesi condizionalmente con un periodo di prova di due anni, per aver coltivato delle piantine di canapa destinate ad essere vendute a negozi specializzati. A seguito di tale condanna, il 30 giugno 2000 la Sezione dei permessi e dell'immigrazione del Cantone Ticino lo ha ammonito, avvertendolo inoltre che in caso di recidiva o di comportamento scorretto avrebbe adottato ulteriori provvedimenti. Con sentenza del 7 ottobre 2003, la Presidente della Corte delle assise correzionali di Mendrisio ha condannato A._ a 18 mesi di detenzione, sospesi condizionalmente con un periodo di prova di quattro anni, e a devolvere allo Stato fr. 100'000.--, quale parte dell'indebito profitto conseguito; ha inoltre revocato la sospensione condizionale della precedente pena detentiva. L'interessato è stato riconosciuto colpevole di infrazione aggravata alla legge federale sugli stupefacenti per aver partecipato alla coltivazione e alla vendita di canapa, agendo per mestiere e realizzando una cifra d'affari di circa fr. 262'000.--. Con sentenza del 7 ottobre 2003, la Presidente della Corte delle assise correzionali di Mendrisio ha condannato A._ a 18 mesi di detenzione, sospesi condizionalmente con un periodo di prova di quattro anni, e a devolvere allo Stato fr. 100'000.--, quale parte dell'indebito profitto conseguito; ha inoltre revocato la sospensione condizionale della precedente pena detentiva. L'interessato è stato riconosciuto colpevole di infrazione aggravata alla legge federale sugli stupefacenti per aver partecipato alla coltivazione e alla vendita di canapa, agendo per mestiere e realizzando una cifra d'affari di circa fr. 262'000.--. C. Fondandosi sulla situazione esposta, con decisione del 18 novembre 2003 la Sezione dei permessi e dell'immigrazione ha revocato a A._ il permesso per confinanti, ritenendone inopportuna la presenza in Svizzera anche se solo a scopo di lavoro. Il provvedimento è stato confermato, su ricorso, dapprima dal Consiglio di Stato ticinese, il 16 dicembre 2003, ed in seguito dal Tribunale cantonale amministrativo, il 6 febbraio 2004. In sostanza, entrambe le istanze hanno considerato che lo straniero ha gravemente violato l'ordine pubblico e che il suo interesse a continuare a lavorare in Svizzera non sia prevalente rispetto all'interesse della collettività al suo allontanamento. C. Fondandosi sulla situazione esposta, con decisione del 18 novembre 2003 la Sezione dei permessi e dell'immigrazione ha revocato a A._ il permesso per confinanti, ritenendone inopportuna la presenza in Svizzera anche se solo a scopo di lavoro. Il provvedimento è stato confermato, su ricorso, dapprima dal Consiglio di Stato ticinese, il 16 dicembre 2003, ed in seguito dal Tribunale cantonale amministrativo, il 6 febbraio 2004. In sostanza, entrambe le istanze hanno considerato che lo straniero ha gravemente violato l'ordine pubblico e che il suo interesse a continuare a lavorare in Svizzera non sia prevalente rispetto all'interesse della collettività al suo allontanamento. D. Il 22 marzo 2004 A._ ha introdotto un ricorso di diritto amministrativo dinanzi al Tribunale federale con cui chiede l'annullamento del giudizio cantonale e la sua riforma nel senso che pronunci, a sua volta, l'annullamento della decisione dipartimentale. Chiamati ad esprimersi, il Tribunale amministrativo si è riconfermato nella propria sentenza, mentre il Consiglio di Stato e l'Ufficio federale dell'immigrazione, dell'integrazione e dell'emigrazione hanno proposto di respingere il ricorso. Chiamati ad esprimersi, il Tribunale amministrativo si è riconfermato nella propria sentenza, mentre il Consiglio di Stato e l'Ufficio federale dell'immigrazione, dell'integrazione e dell'emigrazione hanno proposto di respingere il ricorso. E. Con decreto presidenziale del 23 aprile 2004 è stata accolta l'istanza di conferimento dell'effetto sospensivo contenuta nel gravame. 