Han blev student fra Haderslev i 1876 og i 1882 cand.polyt.  Han var 1876-84 tømrerlærling, soldat og arbejdede med opvarmningsanlæg. I 1884 var han leder af bygningen af en kakkelfabrik for Hakkemose Teglværk.  I 1885 kom han til ingeniørfirmaet F.L. Smidth, hvor han i 1887 sammen med Poul Larsen blev medejer, og hvor firmaet samtidigt skiftede navn til F.L. Smidth & Co. Han var i 1892 medstifter af Dansk Ingeniørforening, hvor han var formand fra 1904-07. Han var desuden 1903-12 formand for Sammenslutningen af Arbejdsgivere inden for Dansk Jernindustri og 1911-21 formand for Industrirådet.  Han var 1915-18 medlem af Folketinget og 1918-20 medlem af Landstinget. Han var Kommandør af 2. grad af Dannebrogordenen og Dannebrogsmand. Foss blev æresmedlem af Dansk Ingeniørforening 1922. Han grundlagde Alex. Foss' Industrifond. Et mindesmærke over ham står i form af Johannes Bjergs heroiske statue Den unge Industri ved Industriens Hus. Han er også gengivet på maleriet Industriens Mænd. Ligesom sin F.L. Smidth-kollega Poul Larsen var Foss ejer af store skovområder nær Silkeborg, herunder herregården Løvenholt og skovgodset Høvildgård (1908), som blev tegnet af Gotfred Tvede. I 1917 lod han desuden Tvede opføre en byvilla i Valby og 1920 ombygge Løvenholt. Foss er begravet på Vestre Kirkegård.