Soedirman kemudian memimpin pasukan dalam perang gerilya dengan menggunakan tandu karena kondisinya yang sangat lemah. Selama sekitar tujuh bulan, dia berpindah-pindah dari hutan ke hutan, dari gunung ke gunung dalam keadaan sakit, sementara obat hampir tidak tersedia. Meskipun begitu, dia selalu memberikan semangat dan petunjuk kepada pasukannya seolah-olah dia tidak merasakan penyakitnya.
Namun, akhirnya dia terpaksa pulang dari medan perang karena tidak lagi mampu memimpin Angkatan Perang secara langsung, meskipun pemikirannya tetap berharga.
Soedirman, yang pada masa pendudukan Jepang terlibat dalam urusan makanan rakyat dan menjadi anggota Dewan Perwakilan Rakyat Keresidenan Banyumas, bahkan mendirikan koperasi untuk membantu rakyat mengatasi kelaparan.
Jenderal ini yang memiliki jiwa sosial yang tinggi, meninggal pada usia yang masih muda, yaitu 34 tahun. Pada tanggal 29 Januari 1950, Panglima Besar ini meninggal dunia di Magelang dan dimakamkan di Taman Makam Pahlawan Semaki, Yogyakarta. Dia dihormati sebagai Pahlawan Pembela Kemerdekaan.