Kemudian pada tahun 1975 Azyumardi berhasil menyelesaikan pendidikan sekolah menengahnya. Setelah lulus dari PGAN, ayahnya menghendaki Azyumardi agar kuliah di Institut Agama Islam Negeri (IAIN) Padang. Namun, Azyumardi tidak berminat. Azyumadi menginginkan kuliah di Ilmu keguruan dan Ilmu Pendidikan (IKIP), atau belajar Sejarah di Universitas Andalas, Padang.
Namun orangtuanya tetap menginginkan Azyumardi agar kuliah di Perguruan Tinggi Agama Islam itu. Akhirnya, Azyumardi menentukan sikapnya yaitu kuliah di IAIN yang ada di Jakarta.
Azyumardi diizinkan oleh kedua orangtuanya untuk melanjutkan kuliah di IAIN Syarif Hidayatullah Jakarta. Semasa
kuliah, Azyumardi dikenal sebagai aktivis di organisasi intra maupun ekstra di kampus. Azyumardi menjabat sebagai ketua senat Mahasiswa Fakultas Tarbiyah.
Azyumardi juga menjadi ketua umum Himpunan Mahasiswa Islam (HMI) tahun 1981-1982 cabang Ciputat. Azyumardi pernah mengorganisasi kawan-kawan mahasiswa untuk melakukan demo terhadap pemerintahan Soeharto dalam sidang umum MPR tahun 1978.