Karier militernya dimulai saat Jepang berkuasa, Soedirman mengikuti pendidikan calon daidancho PETA di Bogor. Setelah luIus, dia menjadi komandan di Kroya.
"Belajar menahan penderitaan berguna bagi hidup di kemudian hari. Suatu kelak, baleh jadi kita akan mengalami yang lebih hebat dari ini," merupakan filosofi yang dipegang Soedirman.
Dengan bekal keteguhannya. Dia pernah menjadi salah satu dari 69 kepala batalion yang ada di Jawa, Bali, dan Madura. Figurnya kharismatik, serta menampakkan kedewasaan yang jauh melampaui usianya.
Diberkahi dengan bakat kepemimpinan, Soedirman bersama pasukan yang dipimpinnya berhasil mengusir tentara Sekutu. Pertempuran itu dikenang sebagai Palagan Ambarawa pada November-Desember 1949.