Dia menjadi terampil dalam bahasa Arab dan sebagai hasilnya, dia tahu banyak tentang agama. Dalam perjalanannya, ia bertemu dengan beberapa ulama terbaik dan mendapatkan ide untuk mendirikan pesantren.
Hudaemi kemudian mendirikan Pondok Pesantren Sukamanah di Desa Cikembang pada tahun 1927 tepat setelah pulang dari ibadah haji. Selain itu pesantren digunakan untuk mendidik masyarakat tentang akidah Islam, khususnya paham Syafi'i yang dianut oleh sebagian besar masyarakat di Indonesia. Ia juga dikenal sebagai "kiai" karena memberikan ceramah agama di berbagai kota di Tasikmalaya.
KH Zainal Mustafa dibebaskan pada Maret 1942 setelah Perang Dunia II, Belanda kemudian menyerah daerah jajahannya kepada Jepang. Meski Jepang mengira KH Zainal Mustafa akan membantu mereka, justru menentang dengan Gerakan Anti Fasis (Geraf).
Terutama ketika kebijakan "tunduk pada matahari terbit" (Seikerei) Jepang diberlakukan, dia salah satu orang yang paling menentangnya. Perintah tersebut tidak diikuti oleh KH Zainal Mustafa dan murid-muridnya.
Pada 25 Februari 1944, tentara Jepang memanggil KH Zainal Mustafa. Hal ini menimbulkan kekacauan yang berujung pada pertempuran di Sukamanah. Jepang pada akhirnya memenangkan pertarungan ini dan banyak orang yang tewas.