Sayang, ia tidak bisa menambatkan sekoah karena ayahnya meninggal dunia, Ia pun harus kembali ke Cilacap.
Tak putus asa, Jenderal Sudirman yang aktif dalam organisasi Hizbul Wathan ini pun mengawali kariernya sebagai seorang guru di HIS Muhammadiyah, Cilacap. Ia pun melanjutkan pendidikannya di pendidikan militer di PETA (Pembela Tanah Air) di Bogor, sampai akhirnya selesai dan diangkat menjadi komandan Batalyon di Kroya.
Pada saat itu, sikap tegas Jenderal Sudirman hampir membahayakan nyawanya sendiri. Pasalnya, ia memprotes tentara Jepang yang memperlakukan anak buahnya dengan semena-mena.
Sesudah terbentuknya Tentara Keamanan Rakyat (TKR), ia kemudian diangkat menjadi Panglima Divisi V/Banyumas dengan pangkat Kolonel. Lalu dalam konverensi TKR yang dilaksanakan pada tanggal 2 November 1945 ia terpilih menjadi Panglima Besar TKR/Panglima Angkatan Perang Republik Indonesia.
Selanjutnya, pada tanggal 18 Desember 1945, pangkat jenderal diberikan lewat pelantikan presiden.