Kemudian atas restu dari gurunya Al-Habib Alwi Bin Ahmad Bahsin, KH Ali Umar Thoyib berdakwah secara terbuka untuk masyarakat umum dengan Majelis Taklim Wat Tadzkir Al-Awwabin Li Ahlis Sunnah Waljamaah Palembang Darussalam.
Ulama besar Palembang ini juga menjadi imam zikir Majelis Zikir Nurussalam Sumatera Selatan di Kuto Batu Palembang. KH Ali Umar Thoyib terkenal dengan ajaran taib Haddat atau Ratib Al Haddad, salah satu bacaan zikir dan wirid yang mengandung ayat suci Alquran dan juga berbagai macam doa.
Berikut beberapa pesan amaliyah ibadah KH Ali Umar Thoyib, yakni berjiwa taqwa dengan menjauhi segala maksiat, penuhkan harapan kepada Allah SWT dalam beramal, banyaklah berdoa kepada Allah SWT dengan yakin, jangan lupa bertawasul kepada Rasulullah dengan membaca sholawat 300 kali dalam sehari semalam.
Kemudian madzhab dalam ibadah menurut Imam Syafe’I, madzhab dalam akidah menurut Ahli Sunnah wal Jamaah, pakailah ilmu padi, jangan sombong dan ujub, tumbuhkan sifat pemaaf dan kasih sayang sesama makhluk Allah.
KH Ali Umar Thoyib meninggal dunia di usi 57 tahun pada Rabu 19 November 2008 di RS Pelabuhan Palembang. Warga Palembang dan Sumsel pada umumnya merasa kehilangan dengan kepergian ulama besar ini.