Pada tahun 1958 dia diangkat sebagai Komandan Komando Operasi 17 Agustus di Padang, Sumatra Barat untuk menumpas pemberontakan Pemerintahan Revolusioner Republik Indonesia (PRRI). Selain PRRI, Ahmad Yani juga turut andil dalam perebutan Irian Barat. Presiden Soekarno pun senang akan keberadaan dirinya dalam setiap operasi yang ditugaskan.
Tahun 1962, dirinya diangkat sebagai Kepala Staf Angkatan Darat (KSAD). Ahmad Yani difitnah dan dituduh ingin menjatuhkan Presiden Soekarno oleh PKI.
Pada 1 Oktober 1965 dini hari dia diculik oleh gerombolan PKI, lalu dibunuh. Jasadnya ditemukan di daerah Lubang Buaya. Ahmad Yani dimakamkan di Taman Pahlawan Kalibata Jakarta.