Hingga pada tahun 1982, Azyumardi berhasil menyelesaikan kuliahnya. Pada tahun 1986 Azyumardi memperoleh beasiswa S2 Fullbright di Universitas Colombia, New York, Amerika Serikat dengan konsentrasi Sejarah.
Dua tahun kemudian, dia menyelesaikan program MA nya pada Departemen Bahasa-Bahasa dan Kebudayaan Timur Tengah (1988). Selanjutnya pada tahun 1989 Azyumardi memperoleh gelar MA nya yang kedua di Universitas yang sama dalam bidang Sejarah melalui program Colombia University President Fellowship.
Ditambah gelar M.phill pada tahun 1999 dalam bidang Sejarah. Akhirnya dari Jurusan Sejarah ini pula, Azyumardi memperoleh gelar Ph.D nya. Selanjutnya Azyumardi juga mengikuti program post doctoral di Universitas Oxford selama satu tahun (1995-1996).
Usai menimba ilmu di Amerika Serikat, Azyumardi kembali ke Tanah Air. Dia lalu mendirikan jurnal studi Islam bernama Studia Islamika pada 1993, sekaligus menjadi pemimpin redaksinya.
Pada 1994-1995, dia mengunjungi Southeast Asian Studies di Oxford Centre for Islamic Studies, Oxford University, Inggris, sambil mengajar sebagai dosen di St. Anthony College.