Allardyce blev født i 1954 i Dudley, Worcestershire. Han var søn af Robert Allardyce (1916-1989) og Mary Agnes Allardyce (1918-1991). Han har en ældre bror, Robert Jr., som blev født i 1951. Han blev uddannet på Sycamore Green Primary School og senere på Wren's Nest gymnasiet. Han var i drengeårene Wolves-fan og deltog regelmæssigt Molineux og så dem spille. Han fik kontrakt i Bolton Wanderers som centerforsvarer i 1973 og huskes bedst som en spiller, der var en del af det hold, der vandt andendivisionstitlen i 1977-78 og sikrede oprykning til første division. Allardyce blev købt af Ken Knighton til Sunderland. Han nåede at spille 25 gange i 1980-81 sæsonen. Han spillede også for Huddersfield Town, Coventry City, Millwall og Preston North End.