Saat Demak membuka pendaftaran prajurit tamtama, Ki Ageng Sela turut mendaftar. Salah satu syarat dalam seleksi, pendaftar berani diadu melawan seekor banteng liar. Ki Ageng Sela menyanggupi. Angan-angannya menjadi tamtama sudah mengeras dan tak bisa dihalangi.
Di sebuah gelanggang pertarungan, Ki Ageng Sela berduel dengan banteng liar. Dia tidak butuh waktu lama untuk menyudahi pertarungan.
Pukulannya membuat banteng liar itu kelenger sekaligus tewas seketika. Namun dia merasa ngeri melihat darah yang muncrat dari luka si banteng. “Akibatnya, Sultan menolaknya masuk ketentaraan Demak,” tulis Martin Moentadhim S.M.
Ki Ageng Sela masygul. Harapannya menjadi prajurit Tamtama Demak, kandas. Dia yang kecewa berat merasa sakit hati.
Diceritakan dalam kisah babad, Ki Ageng Sela sempat mengamuk, namun kalah dan akhirnya memutuskan pulang ke Desa Selo (sekarang Kabupaten Boyolali), tempat kelahirannya.
Gagal menjadi tentara, Ki Ageng Sela banting stir menjadi petani sekaligus guru spiritual. Dia menyukai laku bertapa, menyendiri di tempat-tempat sepi.