Jenderal Kopassus ini merintis karir militer di kesatuan Infanteri TNI Angkatan Darat (AD). Kariernya mengkilap dan moncer hingga akhirnya menjabat komandan Korps Baret Merah (Danjen Kopassus) periode 1964-1967.
Dia merupakan salah satu saksi kunci dalam pemberantasan G30S PKI. Selain itu, ia pernah menjabat juga sebagai Ketua BP-7 Pusat, Duta besar Indonesia untuk Korea Selatan serta menjadi Gubernur Akabri (sekarang Akmil).
Mengutip sebuah buku berjudul “Sarwo Edhie dan Misteri 1965”, setelah berhasil menumpas Partai Komunis Indonesia (PKI) pasca G30S dan berperan aktif dalam mengakhiri riwayat orde lama zaman Soekarno, Jenderal Sarwo pun terlempar dari orbit elite Jakarta ke Medan guna menempati posisi Panglima Kodam II Bukit Barisan.
Dalam perjalananya menjadi Panglima Kodam II Bukit Barisan, Jenderal Sarwo tidak ragu menumpas hal yang bertentangan dengan ideologi dirinya. Salah satunya adalah membekukan aktivitas PNI Medan yang memiliki paham marhaenisme dengan ketuanya Syamsul Hilal yang dicap sebagai “anak Soekarno”.
Namun, atas kejadian tersebut tidak membuat Syamsul Hilal dendam. Syamsul menilai Jenderal Sarwo adalah figur yang garang namun bersih. Menurut anaknya, Ani Yudhoyono yang dikutip dalam buku Sarwo Edhie dan Misteri 1965, mengungkapkan bahwa ayahnya Jenderal Sarwo Edhie Wibowo benar-benar manusia idealis. Semua hal yang menurutnya bertentangan dengan pemikiran Jenderal Sarwo maka hal tersebut akan dikesampingkan.
Berkat sifatnya yang bersih, Panglima satu koper itu berhasil menjalankan tugasnya di Kodam II Bukit Barisan. Berjalannya waktu, penyelundupan di Pelabuhan Belawan berkurang, dan kondisi di wilayah Kodam Bukit Barisan semakin baik semenjak kedatangan Jenderal Sarwo Edhie.