Pada tahun 1953, Buya Syaffi merantau ke Jawa bersama dua adik sepupunya untuk belajar di sekolah Yogyakarta. Sesampai di Yogyakarta, dia berniat meneruskan sekolah di Madrasah Muallimin. Namun tidak terwujud karena pihak sekolah menolak menerimanya dengan alasan kelas sudah penuh.
Tidak lama, dia justru diangkat menjadi guru bahasa Inggris dan bahasa Indonesia di sekolah tersebut.
Usai lulus sekolah dari Muallimin pada 12 Juli 1956, ia memutuskan untuk tidak melanjutkan sekolahnya, terutama karena masalah biaya. Kemudian berangkat ke Lombok memenuhi permintaan Konsul Muhammadiyah dari Lombok untuk menjadi guru di Desa Pohgading.
Pada usai 22 tahun, Buya Syaffi melanjutkan pendidikan di Universitas Cokroaminoto, Surakarta dengan memperoleh gelar sarjana muda pada tahun 1964.
Setelah itu, dia melanjutkan pendidikannya untuk tingkat sarjana penuh (doktorandus) pada Fakultas Keguruan Ilmu Sosial, IKIP (sekarang Universitas Negeri Yogyakarta) dan tamat pada tahun 1968.
Selama kuliah, dia sempat bekerja untuk melangsungkan hidupnya. Di antaranya pernah menjadi guru mengaji dan membuka dagang kecil-kecilan bersama temannya.