Tak hanya menawarkan keindahan, Bukit Kelam juga diselimuti kisah yang melegenda di masyarakat sekitar. Batu monolit besar itu diyakini berasal dari puncak gunung batu di Nanga Silat, Kabupaten Kapuas Hulu.
Dahulu kala, ada seorang pemuda Dayak yang super sakti, namun sombong dan serakah. Pemuda itu bernama Bujang Beji atau Sebeji.
Dia sesumbar akan menutup Sungai Kapuas dan Melawi menggunakan sebongkah untuk mengeksploitasi ikan-ikan yang hidup di sungai tersebut.
Mengetahui keserakahan Bujang Beji, seorang putri Dayak yang turut memiliki kesaktian berusaha menghentikan niat jahat Sebeji. Dia memiliki akal untuk menaruh duri-duri di sepanjang jalan yang akan dilalui Sebeji saat membopong batu tersebut.
Hingga akhirnya duri tersebut menusuk kaki Sebeji dan membuatnya terjatuh. Batu besar yang dia bawa juga terjatuh di lokasi sekarang Bukit Kelam berada.