Asō war der Sohn von Asō Tarō und Enkel von Asō Takichi, Mitglied des Kizokuin, des japanischen Herrenhauses, und Gründer des Asō - Familienunternehmens, das sich ausgehend von einer Kohlemine in der Baustoffherstellung und auch im in dem Eisenbahn - und Elektrizitätsgeschäft betätigte.