Nordby er en forte-landsby fra vikingetiden. Forten var det ubebyggede græsområde midt i landsbyen, hvor man tidligere samlede kreaturerne for natten. Efterhånden blev forten bebygget med gårde og huse. Gårdene blev senere omkranset af en ringvej, der afgrænsede byen. I den tidligere middelalder lå landsbyerne Glistrup, Søby og Kongsbøl syd for byen. Nordby Kirke fra omkring 1250 blev bygget mellem Nordby og de tre andre landsbyer. Senere blev de tre landsbyer forladt. Beboerne flyttede til Nordby, grunden er sandsynligvis, at de bedre i urolige tider kunne forsvare sig mod angreb. Det er årsagen til kirkens ensomme beliggenhed næsten to kilometer syd for Nordby. I 1700- og 1800-tallet havde byen omkring 50 gårde, 70 huse og en præstegård, alle opført i bindingsværk. Disse bygninger var samlet i en klynge omkring gadekæret og afgrænset fra de omkringliggende marker af ringvejene omkring byen. Inden landbrugsreformerne i slutningen af 1700-tallet blev landsbyens marker dyrket i fællesskab, men den enkelte bonde havde sin egen marker omkring landsbyen. Ved udskiftningen fik landsbyens bønder deres egen fæstejord, som  blev fordelt som lange, smalle stykker marker, der udgik fra Nordby – en såkaldt stjerneudskiftning. Samsøs bønder ejede selv deres huse og jord umiddelbart omkring gården, mens herregården Brattingsborg ejede landbrugsjorden. Udflytningen af Nordbys gårde foregik langsomt, og først i 1864 købte Nordbys bønder fæstejorden fra Brattingsborg, og den overvejende del af bønderne flyttede nu deres gårde ud til markerne. Udflytningerne fortsatte helt frem til 1930’erne. Det er sandsynligvis grunden til, at Nordby i nutiden har bevaret den gamle bygningskultur.