Området bestod tidligere af spredt bebyggelse. I 1688 bestod Ferring af 1 gård med 23,5 tønder land skyldsat til 5,00 tønder hartkorn. I første halvdel af 1900-tallet var byen sommertilholdssted for kunstmalere som f.eks. Jens Søndergaard og Jens Bjerre. Byen er ligeledes kendt for sit badehotel, som forfaldt i 1970'erne. Jens Søndergaards Museum i byen yderst mod kysten. Vandbygningsvæsenet havde gennem mange år produktion af 4 tons betonblokke til udlægning i høfder som sikring mod kysterosion en udstrækning fra Fjaltring i syd til Ferring i nord.  Bovbjerg Fyr ligger på det højeste punkt ca. 2 kilometer syd for byen. Nord for byen ligger Ferring Sø.