Navnet Lyderhorn forklares på flere vis: Det kan have sammenhæng med norrønt leiða (= at lede, vise vejen) og leið (= sejlingsled), men mere sandsynligt er det, at navnet i norrønt var Logðarhorn, af log (= lue, flamme), nok også den oprindelige forstavelse i bydelens navn, Loddefjord.   En stenalderboplads, Bjørndalshelleren, er fundet under en stor, vestvendt heller.  Trods manglende udgravning tyder fund af ben og knogler på bosætning under helleren i stenalder, bronzealder og jernalder.  Lyderhorn var et strategisk punkt under 2. verdenskrig og der er en del bunkere og kanonstillinger som blev benyttet til forsvaret af Bergen. Også i de urolige år 1660–1721 var der en permanent vagtstyrke på Lyderhorn, med vagthytte og varselflag. Lyderhorn, Ørnafjellet og Kvarven udgør i dag et fint turområde, som er meget benyttet af befolkningen i Bergen og omegn. Lyderhorn skal efter folketroen have været samlingsplads for hekse valborgsnat, sankthansnat og til jul.  Bergen Turlags årlige "syvfjeldstur" starter fra bydelen Gravdal i skyggen af Lyderhorn, og går videre over Damsgårdsfjellet, Løvstakken, Ulriken, Fløyen, Rundemanen og Sandviksfjellet.