Sachverhalt: A. Der 1962 geborene K._ war als Hilfsgipser tätig und über seinen Arbeitgeber bei der Schweizerischen Unfallversicherungsanstalt (SUVA) obligatorisch gegen Unfallfolgen versichert, als ihm am 24. August 1999 bei der Arbeit eine Feuerschutzplatte auf den Kopf fiel. Die SUVA anerkannte ihre Leistungspflicht für die hiebei erlittenen Verletzungen, gewährte Heilbehandlung und richtete Taggeld aus. Am 7. August 2001 verfügte die IV-Stelle des Kantons Zürich, bei welcher sich K._ ebenfalls zum Leistungsbezug angemeldet hatte, ab 1. August 2000 bei einem Invaliditätsgrad von 100 % eine ganze Rente der Invalidenversicherung (IV). Mit Verfügung vom 26. März 2002 sprach die SUVA dem Versicherten für die verbliebenen Folgen des Unfalls von 1999 ab 1. April 2002 eine Invalidenrente der Unfallversicherung (UV) entsprechend einer Erwerbsunfähigkeit von 100 % zu, dies als Komplementärrente zur IV-Rente. Zudem bezahlte sie ihm gestützt auf einen Vergleich eine Integritätsentschädigung auf der Grundlage einer Integritätseinbusse von 20 %. Im Rahmen eines IV-Rentenrevisionsverfahrens holte die IV-Stelle ein polydisziplinäres medizinisches Gutachten des Instituts Z._ vom 5. Januar 2010 ein. Am 10. Juni 2010 verfügte sie, die IV-Rente werde auf das Ende des der Verfügungszustellung folgenden Monats eingestellt, da der Invaliditätsgrad aufgrund einer seit der Rentenzusprechung eingetretenen wesentlichen gesundheitlichen Besserung nurmehr 29 % betrage. Die SUVA unterzog die von ihr ausgerichtete Invalidenrente ebenfalls einer Revision. Sie setzte die Rente mit Verfügung vom 23. Juli 2010 ab 1. August 2010 nach Massgabe einer Erwerbsunfähigkeit von noch 38 % herab. Daran hielt der Unfallversicherer auf Einsprache des Versicherten hin fest. Die SUVA führte hiebei aus, die Erwerbsunfähigkeit werde damit immer noch zu hoch angesetzt, was als Entgegenkommen zu betrachten sei (Entscheid vom 3. November 2010). B. K._ erhob gegen den Einspracheentscheid vom 3. November 2010 Beschwerde. Im Beschwerdeverfahren legte er u.a. ein von ihm eingeholtes interdisziplinäres Gutachten der Unabhängigen medizinischen Gutachtenstelle U._ vom 27. Januar 2011 auf. Das Sozialversicherungsgericht des Kantons Zürich wies die Beschwerde mit Entscheid vom 22. März 2012 ab. Mit einem weiteren Entscheid vom gleichen Datum wies das Sozialversicherungsgericht auch die von K._ gegen die Verfügung der IV-Stelle vom 10. Juni 2010 eingereichte Beschwerde ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt K._ hauptsächlich beantragen, in Aufhebung des vorinstanzlichen Entscheides betreffend UV sei ihm "weiterhin eine volle Invalidenrente zuzusprechen gestützt auf einen Invaliditätsgrad von mindestens 70 %"; eventuell sei die Sache zur Einholung eines neuen polydisziplinären Gutachtens an die SUVA zurückzuweisen. Zudem sei diese bei Gutheissung der Beschwerde zu verpflichten, die Kosten des Gutachtens der Gutachtenstelle U._ zu bezahlen. Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt. K._ erhebt auch gegen den vorinstanzlichen Entscheid betreffend IV Beschwerde. Über diese entscheidet das Bundesgericht mit Urteil vom heutigen Datum im Verfahren 8C_399/2012. 