Pendidikan Azyumardi dimulai pada Tahun 1963. Saat itu dia masuk sekolah dasar yang berada dekat dengan rumahnya. Sekolah tersebut bernama SD Negeri 01 Lubuk Alung.
Di masa SD ini, Azyumardi memulai kecintaannya pada buku. Azyumardi kerap meminjam buku di perpustakaan sekolah dan membawanya pulang ke rumah. Buku kesukaan Azyumardi antara lain; Salah Asuhan karya Abdoel Moeis, Tenggelamnya Kapal Van Der Wijk, karya Hamka.
Dan juga buku cerita klasik seperti Sekali Tepuk Tujuh Nyawa, Musang Berjanggut, dan karya-karya Taguan Marjo.
Meski sebenarnya buku-buku tersebut bukan ditujukan buat anak-anak. Cerita di dalamnya yang membuat munculnya kesadaran sosial dalam diri Azyumardi.