Von NEumann cũng đã tham khảo ý kiến của tổ chức quân sự nào về khía cạnh quân sự của vũ khí hạt nhân?
Năm 1950, von Neumann trở thành cố vấn cho Nhóm đánh giá hệ thống vũ khí (WSEG), có chức năng tư vấn cho Tham mưu trưởng Liên quân và Bộ trưởng Quốc phòng Hoa Kỳ về phát triển và sử dụng các công nghệ mới. Ông cũng trở thành cố vấn cho Dự án Vũ khí đặc biệt của Lực lượng Vũ trang (AFSWP), chịu trách nhiệm về các khía cạnh quân sự về vũ khí hạt nhân, trong hai năm sau đó, ông cũng trở thành cố vấn cho Cơ quan Tình báo Trung ương (CIA), thành viên của Uỷ ban Tư vấn chung có ảnh hưởng của Uỷ ban Năng lượng Nguyên tử, cố vấn cho Phòng thí nghiệm Quốc gia Lawrence Livermore mới thành lập và là thành viên của Nhóm Tư vấn Khoa học của Không quân Hoa Kỳ.
Dự án Vũ khí Đặc biệt của Lực lượng Vũ trang