Sedari kecil, pria kelahiran 1966 ini berguru ke KH Ali Maksum Madrasah Al-Munawwir Krapyak, Yogyakarta. Menginjak masa kuliah, Gus Yahya, sapaan akrabnya, memutuskan untuk menuntut ilmu di FISIPOL Universitas Gajah Mada.
Gus Yahya juga menjadi pengasuh Pondok Pesantren Raudlatut Tholibin, Rembang, Jawa Tengah. Selain itu, 2014 Gus Yahya bersama rekannya mendirikan institut keagamaan di California, Amerika Serikat yang bernama Bayt ar-Rahmah li ad-Da'wa al-Islamiyah Rahmatan li al-Alamin. Institusi itu mengkaji agama Islam untuk perdamaian dan rahmat alam.
Bukan hanya dikenal sebagai tokoh agamawan, Gus Yahya disebut-sebut merupakan pegiat ikhwal "rahmah" dalam penyelesaian konflik kemanusiaan dunia.
Tokoh NU yang kini menjabat sebagai Katib Aam PBNU ini pernah menuai kontroversi lantaran aksinya memenuhi undangan dialog dari American Jewish Committee (AJC) Global Forum untuk datang ke Israel pada Juni 2018.
Dalam bidang politik, Gus Yahya pernah menduduki jabatan penting di pemerintahan. Pada masa kepemimpinan Presiden ke-4 RI, Gus Yahya pernah menjabat sebagai juru bicara Presiden Abdurrahman Wahid. Kemudian pada 31 Mei 2018, ia dilantik menjadi salah satu anggota Dewan Pertimbangan Presiden (Wantimpres) oleh Presiden Joko Widodo hingga tahun 2019.