Karier politiknya dimulai di PKB Rembang. Gus Yaqut dipercaya menjadi Ketua Dewan Pimpinan Cabang (DPC) Kabupaten Rembang (2001-2014). Selanjutnya pada 2005, Gus Yaqut terjun ke arena politik praktis dan menjadi Anggota DPRD Kbupaten Rembang (2005). Pada tahun yang sama di 2005 juga, Gus Yaqut maju mencalonkan diri menjadi Wakil Bupati pada Pilkada 2005 dan terpilih menjadi Wakil Bupati Rembang (2005-2010).
Pada tahun 2012 Gus Yaqut diberi tanggung jawab yang lebih besar untuk menduduki jabatan Wakil Ketua DPW PKB Jawa Tengah (2012-2017).
Gus Yaqut semakin aktif dalam kancah organisasi masyarakat dan politik dengan melebarkan sayap organisasinya hingga pada tahun 2015 diberi tanggung jawab untuk memimpin organisasi sayap kepemudaan terbesar dan tertua di Indonesia yaitu GP Ansor sebagai Ketua Umum masa jabatan periode tahun 2015-2020.
Gus Yaqut dilantik menjadi Anggota DPR Periode 2014-2019 sebagai Pergantian Antar Waktu (PAW) menggantikan Hanif Dhakiri yang dilantik menjadi Menteri Tenaga Kerja di Kabinet Kerja Presiden Jokowi.
Pada Pemilu 2019, Gus Yaqut kembali lolos ke Senayan dan diberikan amanah sebagai Wakil Ketua Komisi II.