"Awalnya saya ikut-ikutan saja, waktu itu diajak teman, pada masa revolusi fisik, sekitar tahun 1946/47 di Blitar. Waktu itu saya jadi pengawal Pak Mustopo yang bertugas sebagai komando train," ujar Soemardi tentang awal mula ikut berjuang.
Selama di Blitar, Soemardi bertugas dalam bagian perhubungan dan belum mendapatkan pangkat. Saat itu menjadi tentara juga tidak melalui pendaftaran tetapi secara sukarela. Tugas utamanya kala itu adalah melayani perhubungan. Ketika meletus perang melawan penjajah di Jawa Timur, ia ikut menjadi salah satu pembaca sekaligus penyampai sandi atau morse.
"Saya tidak turun langsung berperang, saya menyampaikan morse atau kode mengenai situasi dan perintah dari atasan. Jadi waktu itu perintah yang kami terima tidak dalam tulisan tangan tetapi pakai kode lewat headphone, lalu saya mengetik dan menyampaikan (ke pasukan)," katanya.
Beberapa tahun bertugas di Blitar, Soemardi kemudian pulang ke Yogyakarta. Di sinilah ia kemudian diajak oleh saudaranya, Soemaryadi untuk bergabung BKR dan masuk Polisi Tentara (Polisi Militer).
Tepatnya saat meletus agresi militer Belanda II. Dia tergabung dalam pasukan yang mendapat tugas meledakkan dinamit di Jembatan Kali Bedog, Kecamatan Gamping, Sleman.