Bangunan ini didirikan oleh Syekh Muhammad Thaib sepulang dari menuntut ilmu di Makkah. Sekembalinya ke Tanah Air, dia menjadikan surau ini sebagai pusat dakwah dan penyebaran ajaran Tarekat Naqsyabandiyah.
Zahar menyebutkan, surau tersebut pernah menjadi pusat keramaian dan tempat belajar agama bagi masyarakat Pauh. Ajaran tarekat yang disampaikan Syekh Muhammad Thaib mendapat sambutan hangat dari warga.
“Sampai sekarang, sebagian ajaran dan tradisi beliau masih kami jalankan, meskipun kini yang aktif hanya golongan tua,” katanya.
Secara fisik, Surau Baru tetap mempertahankan bentuk aslinya: bangunan kayu bertonggak, berlantai papan, dan ruang salat sederhana, mencerminkan arsitektur khas surau tua di Minangkabau.