Kent dokusu Osmanlı döneminde formunu kazanmıştır. Bugünkü Ayvalık'ın kurulması 1430-1440 yıllarına rastlar. Ayvalık o zamanlar limana hakim bir tepe üzerinde kurulu idi. Doğu Roma İmparatorluğu'nu sıkıştıran Osmanlı İmparatorluğu, Alibey Adası'nda bir deniz üssü kurmuştur. Daha sonraları şehre Rumlar yerleşmeye başlamış ve kısa sürede Türk nüfusunu aşmışlardır. Osmanlı kaynaklarında Ayvalık adına ilk kez 1772 yılında yayınlanan bir fermanda rastlanır. Bu fermanın, 1770'de Çeşme önlerinde Rus donanmasıyla yapılan bir savaştan dönerken Ayvalık'a uğrayan, daha sonra sadrazam olan Cezayirli Hasan Paşa tarafından çıkartıldığı düşünülmektedir. Bölge, 1789'dan itibaren gayrimüslimlerin yaşadığı bir özerk bölge olmuştur. Bu özerklik 1821'deki Yunan ayaklanmasına dek sürmüş, bu ayaklanma sonucunda Ayvalık boşaltılarak 1840'da Karesi Sancağı'na bağlı bir ilçe yapılmıştır. Daha sonra Rumların dönmesine izin verilmesine rağmen, ilçe eski canlılığına kavuşamamıştır. Osmanlı İmparatorluğu yönetiminin Anadolu'da incelemeler yapmak için gönderdiği Vital Guinet tarafından yayımlanan 1891 tarihli istatistiğe göre 21.666 olan kent nüfusunun 21.486'sı Rum, 180'i Türk'tür.
Ayvalık ilçesine bağlı irili ufaklı 22 kadar ada vardır. Bu adaların en büyüğü Alibey Adası ya da diğer ismi ile Cunda Adası olup 1964 yılında bir köprü ile Lale Adası'na oradan da ilçe merkezine bağlanmıştır. Bu köprülerden biri aynı zamanda Türkiye'nin ilk boğaz köprüsü olma özelliğini taşır. Alibey Adası dışındaki tüm Ayvalık Adaları 1995 yılında milli park ilan edilmiş ve yerleşim yasaklanmıştır.
Alışveriş turizminde de son yıllarda önemli bir potansiyele sahip olan Ayvalık, merkezinde her perşembe günü kurulan pazar ve haftanın yedi günü açık çarşı ve alışveriş merkezleri sayesinde, özellikle Yunanistan'ın Midilli adasından olmak üzere, on binlerce turiste günü birlik ziyaretlerinde alışveriş imkanı sunar.
İlçe ekonomisi büyük ölçüde zeytin ve turizme bağlıdır. Arazinin %70'i zeytinlik olan Ayvalık'ta zeytinden sabun ve zeytinyağı üreten sanayi kuruluşları bulunmaktadır. Türkiye’nin ve Dünya’nın ileri gelen zeytinyağı merkezidir. Zeytinyağı kalitesi bakımından en kaliteli yağları üreten ülkelerin başında gelen İspanya’da dahi Ayvalık zeytinyağının yeri üst raflardadır. Ayvalık'ta zeytin dışında pamuk, çam fıstığı ve mandalina gibi tarım ürünleri de yetiştirilir. Bölgede, Bağyüzü Köyü'nde yetiştirilen Kozak üzümü tanınmış bir üründür. Ayrıca, Altınova toprağının verimliliği açısından her türlü meyve ve sebze üretimine uygun tarım arazilerine sahiptir. Son yıllarda turfanda sebzecilik ve Kozak çam balı üretimi de yapılmaktadır. Balıkçılık ve balık restoranları da önemli bir gelir kaynağıdır.
Yunanistan'dan gelen turistler ilçeye feribot ve deniz otobüsü ile yaklaşık iki saatte ulaşır. Yurtiçinden Ayvalık'a ulaşım ise genellikle karayolu ile sağlanır. Hemen hemen tüm büyükşehirlerden direkt seferler mevcuttur. Taşradan gelecek olanlar ise Balıkesir veya İzmir üzerinden otobüs seferleri ile ilçeye ulaşabilir. Havayolunu tercih edenler uçakla Edremit'te bulunan Balıkesir Koca Seyit Havalimanı’ndan (45 km) ulaşırlar. Ayvalık'a ayrıca Türkiye Cumhuriyeti Devlet Demiryolları İzmir Mavi Treni ile Balıkesir'e kadar gelip daha sonra TCDD'nin ayarladığı aktarma otobüsleri ile gidilebilir. İstanbul'dan ulaşımda ise İstanbul-Bandırma arasındaki hızlı feribot farklı bir seçenek olarak sunulabilir.
İlçenin en önemli spor kulübü Ayvalıkgücü Belediye Spor Kulübü'dür. Bununla beraber futbol, basketbol, atletizm ve satranç branşlarında hizmet veren kulüp ve derneklere sahiptir.
Ayvalık, eğitim olanakları bakımından tarihi öneme sahiptir. Cumhuriyet döneminde ilçede kurulan ilkokul Ayvalık Türk Ocağı Öksüz Yurdu Sanat Mektebi adında yatılı bir özel okuldur. 1926 yılında okullarda meslek derslerinin kaldırılması üzerine meslek eğitim eşyalarını Türkiye Cumhuriyeti Millî Eğitim Bakanlığı'na devreden okul, 1927 yılında adını Muhtelit İkmal Meslek Mektebi olarak değiştirdi. 1929'da Ayvalık Türk Ocağı Muhtelit Orta Mektebi adını alan okul, 1931'de Ayvalık Hususi Orta Mektebi olarak isim değiştirmiştir. Ortaokuldan mezun olanların okumaları için 1963 yılında Ayvalık Lisesi açılmıştır. 1994 yılında bu ilçeye Ayvalık Anadolu Lisesi adında bir lise daha açılmıştır.
Bugün Ayvalıkta, Ayvalık Anadolu Lisesi ve Ayvalık Lisesi başta olmak üzere onlarca okulun yanı sıra, Balıkesir Üniversitesi'ne bağlı Ayvalık Meslek Yüksekokulu bulunmaktadır. Yönetim, Organizasyon, Pazarlama, Reklamcılık, Turizm, Mimari ve Şehir Planlamacılığı eğitimi alan öğrencilere ev sahipliği yapmakta olan Ayvalık M.Y.O. hem bölgenin işletmeler açısından yetişmiş iş gücü ihtiyacına katkıda bulunmakta, hem de çevre illerden gelen ve bu bölümlerde okuyan öğrencilerin bölge içerisindeki işletmelerde staj yaparak mesleki deneyimlerini kazandırmakta, tarihi yapıdaki evleri ve otantik kentsel yapısı ile sanatsal yöndeki ufuklarını açmaktadır.