Azyumardi merupakan putera dari pasangan Azikar dan Ramlah. Ayahnya berprofesi sebagai tukang kayu dan pedagang kopra sementara ibunya merupakan guru agama.
Azyumardi mempunyai dua kakak perempuan bernama Ra’azni dan Azriati. Azyumardi juga punya dua adik pria dan satu adik perempuan.
Ketua Dewan Pers periode 2022 - 2025 itu dibesarkan oleh orang tua yang sadar pentingnya pendidikan. Meski kondisi keluarganya sulit, ayahnya ingin anak-anaknya bisa sekolah.
Perkenalan Azyumardi dengan dunia pendidikan berawal dari kata-kata yang terpampang di badan bus dan di belakang truk. Dia belajar membaca dari judul-judul berita pada robekan kertas koran bekas dan majalah bungkusan.
Ayahnya pun setia menemaninya saat dia baru belajar mengeja kata di badan bus yang setiap hari melintas di depan rumahnya.