Hans forældre var bygmester Ole Kristian Nielsen og Johanne Jensdatter. Han kom i malerlære 1902 og stod senere i tømrerlære og gik på Det tekniske Selskabs Skole i København. Senere var Harald Nielsen et stykke tid elev på Kunstakademiets Arkitektskole og på Statens Tegnelærerkursus, men uden at tage eksamen.  Virke som arkitekt og redaktør Harald Nielsens far havde været assistent for Ivar Bentsens far, Andreas Bentsen, på håndværkerafdelingen på Vallekilde Højskole, og hvad enten det skyldes private relationer eller ej, blev Nielsen tidligt knyttet til både Ivar Bentsen og til P.V. Jensen-Klint, hvem han i 1904 assisterede ved opførelsen af Frederikshavns Bank i Jernbanegade, Frederikshavn. Fra 1911 var Harald Nielsen fast knyttet til Ivar Bentsens tegnestue i Holbæk, og samme år var han medstifter af opmålingsforeningen "Maaleren", hvor han fungerede som redaktionssekretær 1911-15 og som redaktør 1915-28. Herigennem kunne han skaffe sig kendskab til den ældre bygningskultur. Nielsens største opgave hos Bentsen var i 1912 at gennemføre undersøgelse, forarbejde og skitser til Svinninge Elektricitetsværk, som stod færdigt i 1913. Samme år etablerede Harald Nielsen egen tegnestue, men hele livet igennem samarbejdede han også med Peter Nielsen, som også kom fra Nordjylland, selv om de i 1920'erne udviklede meget forskellige anskuelser med hensyn til arkitekturens retning.  Kvalificeringen af "det danske hus" Arbejdet med at formgive et typisk dansk, traditionelt fritliggende hus, der var økonomisk tilgængeligt for menigmand, stod centralt både for Nielsen og for Landsforeningen Bedre Byggeskik i det hele taget. Mellemkrigstidens forslag til landarbejderboliger var ét resultat af denne indsats, mens Nielsen i 1916 medvirkede på en udstilling på Kunstindustrimuseet, som senere kom til provinsen, med forslag til enkle og billige huse. Blandt deltagerne var Martin Nyrop, Jensen-Klint, Ivar Bentsen, Poul Holsøe og Povl Baumann. Projektet til Ørnevejskvarteret i Frederikshavn, som han udførte sammen med Peter Nielsen, er karakteristisk for Harald Nielsens arkitektursyn. Her finder vi Bedre Byggeskik-idealerne omsat til simple murermesterhuse med stejle, opskalkede tegltage i hel- eller halvvalm og prydet med symmetrisk placerede skorstene. Med projektet for Villa Vesterled (1916-17) for Hans Sommer ved Bagsværd Sø viste han, at han også magtede den større skala. Her skulle han formgive en herskabelig og statelig bolig, og Harald Nielsen udformede derfor et herregårdslignende, trefløjet anlæg med en klar frontalitet og med en reverens over for motiver fra den danske arkitekturhistorie. Således er den sekskantede risalit i midten af anlægget et citat fra Møllmanns Landsted, Allégade 6 på Frederiksberg. Hans omhu for detaljeringen af bygningens dele viste sig både i konkrete dekorative arbejder inden for møbelkunst og smedejernshåndværk og i det omfattende forfatterskab, som spændte over mere end tyve år, og som blandt andet bestod i små afhandlinger om profilering, hoveddøre, smedearbejder og tagformer i Landsforeningen Bedre Byggeskiks årsberetninger. Harald Nielsen ægtede 30. april 1921 i Hillerød Rosa Elisabeth Hansen (født 12. juni 1899 i Hillerød, død 24. januar 1990), datter af snedkermester Lars Jørgensen og Ane Kirstine Olsen.