Dia bergabung dengan militer pada 1940, saat Belanda membutuhkan tentara cadangan. Perang pertamanya terjadi pada tahun 1942 melawan Jepang.
Setelah Jepang kalah, AH Nasution bergabung dengan eks Peta untuk mendirikan Badan Keamanan Rakyat. Sejak saat itu karirnya melesat.
Pada 1946-1948, AH Nasution memimpin Divisi Siliwangi. Saat otu, dia mempelajari betul arti dukungan rakyat dalam perang gerilya.
Metode perang ini dengan leluasa dikembangkannya saat menjadi Panglima Komando Jawa pada masa Revolusi Kemerdekaan II pada 1948-1949.
Dia menyusun Perintah Siasat No. I, yang berisi juklak tentang persiapan perang gerilya. Instruksi tersebut kemudian dikenal sebagai doktrin pertahanan rakyat total.