Pada 1999 dia mendapat kepercayaan dari Presiden Abdurrahman Wahid atau Gus Dur sebagai Menteri Pendidikan Nasional (Mendiknas) hingga 2001.
Pada 2005, suami Choifah Muhaimin ini diangkat menjadi guru besar di Fisipol UGM. Dia juga sempat menjadi Atase Pendidikan dan Kebudayaan di Washington DC, AS.
Di kalangan Fisipol UGM, Yahya Muhaimin dikenal sebagai pakar militer dan politik.
Dilansir dari laman ugm.ac.id, skripsi Yahya Muhaimin yang berjudul 'Perkembangan Militer dalam Politik di Indonesia 1945-1966' dinobatkan sebagai skripsi terbaik UGM dan diterbitkan sebagai buku oleh Gamapress pada 1970.
Buku ini bukan sekadar dibukukan, namun menjadi buku legendaris karena menjadi rujukan dosen untuk mengajar mahasiswa tingkat sarjana hingga doktor. Buku tersebut mengalami cetak ulang berkali-kali hingga 2002.
"Buku itu dianggap buku legendaris. Bagi kalangan dosen, buku ini sering jadi buku wajib dalam mengajar," kata mantan Rektor UGM Pratikno yang kini menjadi Menteri Sekretaris Negara.
Yahya Muhaimin dikenal sebagai intelektual yang produktif menghasilkan buku. Dia juga aktif dalam Persyarikatan Muhammadiyah. Pada 2000-2005 dia menjadi salah satu Ketua PP Muhammadiyah.
Sejak pensiun dia merintis perguruan tinggi di kampung halamannya di Bumiayu. Dia menjadi Rektor Unversitas Peradaban di Bumiayu sejak 2014 hingga wafatnya.