Georg Elser (hvilket han normalt kaldes) blev født i Hermaringen, Württemberg, som søn af Ludwig Elser og Maria Müller. Hans forældre blev gift et år efter hans fødsel, og Maria flyttede til Königsbronn, for at leve med Ludwig på hans husmandssted. Hans far havde en tømmerhandel, mens hans mor arbejdede på gården. Georg blev ofte overladt til at passe sine fem yngre søskende: Friederike (født 1904), Maria (født 1906), Ludwig (født 1909), Anna (født 1910) og Leonard (født 1913). Han gik i folkeskole i Königsbronn 1910-17 og viste evne i tegning, skrivning og matematik. Hans barndom var præget af faderens alkoholmisbrug. Elser nævnte i sin afhøring hos Gestapo i 1939, hvordan hans far sædvanligt kom sent hjem fra arbejde beruset.