Selama SMA, dia masih bekerja dengan berjualan koran pada pagi hari dan menjual kue pada sore hari. Selain itu, ia juga pernah beternak kerbau. Dari hasil jerih payahnya bekerja, dia dapat menabung untuk biaya kuliah.
Setelah tamat SMA, dia diterima di Program Studi Pembangunan Pedesaan, Fakultas Pertanian Universitas Andalas. Selama kuliah di Universitas Andalas, dia ikut menggerakan kegiatan dakwah.
Namanya pun populer di kalangan aktivis dakwah kampus era 90-an hingga ia diberi gelar "Umar"nya dakwah kampus Kota Padang saat itu. Aktivitasnya di bidang dakwah mengantarnya bergabung dengan Partai Keadilan Sejahtera (PKS).
Setelah tamat kuliah, Mahyeldi sangat dikenal dengan pendakwah atau ustadz. Ia mendapat sebutan "Buya" atau sebutan untuk ulama di Sumbar meskipun ia bukan lulusan pesantren maupun lulusan perguruan tinggi Islam.
Mahyeldi Ansharullah menikah dengan Harneli Bahar dan dikaruniai sembilan orang anak.
Pada pemilihan umum legislatif 2004, Mahyeldi diusung oleh PKS sebagai calon anggota legislatif untuk DPRD Sumatera Barat. Hasil perolehan suara menempatkan PKS sebagai pemenang di Kota Padang.
Dari seluruh anggota DPRD Sumatera Barat yang terpilih, Mahyeldi merupakan peraih suara terbanyak. Kemudian Mahyeldi duduk sebagai Wakil Ketua DPRD Sumatera Barat periode 2004–2009.
Tak lama menjadi Wakil Ketua DPRD Sumatera Barat, dia mengundurkan diri karena dilantik sebagai Wakil Wali Kota Padang mendampingi Fauzi Bahar pada tahun 2009.
Kemudian Mahyeldi mencalonkan diri sebagai Wali Kota Padang dalam pemilihan umum Wali Kota Padang yang digelar pada tanggal 30 Oktober 2013. Pemilu tersebut diikuti oleh 10 pasang calon, Mahyeldi bersama pasangannya Emzalmi menang atas 29,45 persen suara.