Perkenalan Azyumardi dengan dunia pendidikan berawal dari kata-kata yang terpampang di badan bus dan di belakang truk. Dia belajar membaca dari judul-judul berita pada robekan kertas koran bekas dan majalah bungkusan.
Ayahnya pun setia menemaninya saat dia baru belajar mengeja kata di badan bus yang setiap hari melintas di depan rumahnya.
Pendidikan Azyumardi dimulai pada Tahun 1963. Saat itu dia masuk sekolah dasar yang berada dekat dengan rumahnya. Sekolah tersebut bernama SD Negeri 01 Lubuk Alung.
Di masa SD ini, Azyumardi memulai kecintaannya pada buku. Azyumardi kerap meminjam buku di perpustakaan sekolah dan membawanya pulang ke rumah. Buku kesukaan Azyumardi antara lain; Salah Asuhan karya Abdoel Moeis, Tenggelamnya Kapal Van Der Wijk, karya Hamka.
Dan juga buku cerita klasik seperti Sekali Tepuk Tujuh Nyawa, Musang Berjanggut, dan karya-karya Taguan Marjo.
Meski sebenarnya buku-buku tersebut bukan ditujukan buat anak-anak. Cerita di dalamnya yang membuat munculnya kesadaran sosial dalam diri Azyumardi.
Tahun 1969 dia melanjutkan pendidikannya ke Sekolah Pendidikan Guru Agama Negeri (PGAN) Padang. Di sekolah menengah ini, bakat Azyumardi sebagai seorang pelajar yang cukup cerdas sudah terlihat, terutama di bidang pelajaran Matematika.
Di luar sekolah, dalam bidang sosial keagamaan, Azyumardi banyak bersentuhan dengan nilai-nilai Islam modernis, kendati ia juga merasa dekat dengan tradisi Islam tradisional.