Sloan blev uddannet ved Pennsylvania Academy. Han begyndte som tegner for aviser og slog sig i 1905 ned i New York som illustrator og grafiker. Han blev medlem af kunstnersammenslutningen The Eight og udstillede med gruppen den i 1908. I 1917 deltog han i grundlæggelsen af Society of Independent Artist og var fremtrædende blandt oppositionen til The National Academy.  Fra 1914 udøvede han en indflydelsesrig virksomhed som lærer. Sloan er særlig kendt for sine impressionistiske skildringer af gadelivet i New York.