Blandt de, der byggede sommerresidenser i området, var kendte familier som Rockefeller (den senere guvernør over New York og vicepræsident under Gerald Ford, Nelson Rockefeller, blev født i byen i 1908), Morgan, Vanderbilt, Astor, Ford, Carnegie og mange flere.