Kemudian pada 1965-1971, KH Ali Yafie menjadi Dekan di Fakultas Ushuluddin IAIN Ujungpandang.
Pada Muktamar NU di Surabaya tahun 1971) KH Ali Yafie terpilih menjadi salah seorang Rais Syuriyah PBNU. Kemudian pada Muktamar NU di Semarang tahun 1979 dan Situbondo tahun 1984, Ali Yafie kembali diberi amanah sebagai Rais Syuriyah PBNU.
Pada Muktamar NU di Krapyak 1989, KH Ali Yafie diberi amanah sebagai wakil Rais 'Aam PBNU. Selanjutnya menjadi Penjabat (Pj) Rais 'Aam PBNU 1991-1992 setelah KH Ahmad Shiddiq sebagai Rais 'Aam PBNU kala itu wafat.
KH Ali Yafie pun menjabat Ketua Umum MUI pada 1998-2000 menggantikan KH Hasan Basri. Ulama fiqih ini pun pernah menjadi Rektor Institut Ilmu Al-Qur'an (IIQ) Jakarta pada 2002-2005.
KH Ali Yafie juga pendiri dan pengasuh Pondok Pesantren Darul Dakwah Al Irsyad, Pare-Pare, Sulawesi Selatan.
KH Ali Yafie juga aktif menulis buku terutama tentang fiqih. Di antaranya buku Menggagas Fikih Sosial: dari Soal Lingkungan Hidup, Asuransi hingga Ukhuwah. Buku ini diterbitkan oleh Penerbit Mizan di Bandung pada 1995.