Masih di universitas yang sama, Azyumardi menempuh studi di Departemen Sejarah dengan beasiswa Columbia President Fellowship yang diterimanya dari Columbia University. Ia pun meraih gelar MA keduanya pada 1989. Di tahun 1992, Azyumardi memperoleh gelar Master of Philosophy (M.Phil) dari Departemen Sejarah, Columbia University. Bukan hanya itu, gelar Doctor of Philosophy Degree juga mampu ia raih dari kampus tersebut.
Usai menimba ilmu di Amerika Serikat, Azyumardi kembali ke Tanah Air. Ia lalu mendirikan jurnal studi Islam bernama Studia Islamika pada 1993, sekaligus menjadi pemimpin redaksinya. Pada 1994-1995, ia mengunjungi Southeast Asian Studies di Oxford Centre for Islamic Studies, Oxford University, Inggris, sambil mengajar sebagai dosen di St. Anthony College.
Kemudian pada 1997, ia pernah menjadi profesor tamu pada Universitas Filipina dan Universitas Malaya, Malaysia.