Menurut pendapat pertama ada dua versi, yang berpendapat bahwa pondok pesantren berawal sejak zaman Nabi masih hidup. Dalam awal-awal dakwahnya, Nabi melakukan dengan sembunyi-sembunyi dengan peserta sekelompok orang, dilakukan di rumah-rumah, seperti yang tercatat di dalam sejarah, salah satunya adalah rumah Arqam bin Abu Arqam. Sekelompok orang yang tergolong dalam As-Sabiqunal Awwalun inilah yang kelak menjadi perintis dan pembuka jalan penyebaran agama Islam di Arab, Afrika, dan akhirnya menyebar ke seluruh dunia.
Versi kedua menyebutkan bahwa pondok pesantren mempunyai kaitan yang erat dengan tempat pendidikan yang khas bagi kaum sufi. Pendapat ini berdasarkan fakta bahwa penyiaran Islam di Indonesia pada awalnya lebih banyak dikenal dalam bentuk kegiatan tarekat yang melaksanakan amalan-amalan dzikir dan wirid tertentu. Pemimpin tarekat itu disebut kiai, yang mewajibkan pengikutnya melakukan suluk selama 40 hari dalam satu tahun dengan cara tinggal bersama sesama anggota tarekat dalam sebuah masjid untuk melakukan ibadah-ibadah di bawah bimbingan kiai. Untuk keperluan suluk ini, para kiai menyediakan ruangan khusus untuk penginapan dan tempat memasak yang terdapat di kiri kanan masjid.
Pendapat kedua mengatakan, pondok pesantren yang dikenal saat ini pada mulanya merupakan pengambilalihan dari sistem pondok pesantren yang diadakan orang-orang Hindu di Nusantara. Hal ini didasarkan pada fakta bahwa jauh sebelum datangnya Islam ke Indonesia, lembaga pondok pesantren pada masa itu dimaksudkan sebagai tempat mengajarkan ajaranajaran agama Hindu.
Pondok pesantren di Indonesia baru diketahui keberadaan dan perkembangannya setelah abad ke-16. Karya-karya Jawa Klasik seperti Serat Cobolek dan Serat Centini mengungkapkan dijumpai lembaga-lembaga yang mengajarkan berbagai kitab Islam Klasik dalam bidang Fiqih, Tasawuf, dan menjadi pusat-pusat penyiaran Islam yaitu pondok pesantren.
Para Sufi mengajarkan tasawuf yang diramu dengan ajaran yang sudah dikenal oleh masyarakat Indonesia. Seorang sufi biasa dikenal dengan hidup dalam kesederhanaan, mereka selalu menghayati kehidupan masyarakatnya dan hidup bersama di tengah-tengah masyarakatnya.