IHO được thành lập vào năm 1921 với tên là Cục thủy văn học quốc tế (IHB). Tên hiện tại được thông qua vào năm 1970 như là một phần của một Công ước quốc tế mới về IHO được các quốc gia thành viên thời đó thông qua. Tên cũ Cục thủy văn học quốc tế được giữ lại để mô tả Ban thư ký IHO cho đến ngày 8 tháng 11 năm 2016, khi sửa đổi Công ước về IHO có hiệu lực. Sau đó IHB được gọi là "Bộ thư ký IHO", bao gồm một Tổng thư ký được bầu và hai giám đốc hỗ trợ, cùng với một nhân viên nhỏ 17, tại trụ sở của Tổ chức ở Monaco. 