Menurut Caruban Kandha dan beberapa catatan dari Keraton Kasepuhan, Tamansari dibangun karena Pesanggrahan Giri Nur Sapta Rengga berubah fungsi menjadi tempat permakaman raja-raja Cirebon, yang sekarang dikenal sebagai Astana Gunung Jati.
Hal itu terjadi karena perluasan Keraton Pakungwati (sekarang Keraton Kasepuhan Cirebon) pada 1529 Masehi dengan pembangunan tembok keliling keraton, Siti Inggil, dan lain-lain.
Sebagai data pembandingan, Siti Inggil dibangun dengan ditandai candrasengkala Benteng Tinataan Bata pada 1529 Masehi.
Di Gua Sunyaragi terdapat Taman Candrasengkala yang dibangun pada 1529. Di kedua tempat itu juga terdapat persamaan, yakni terdapat gapura Candi Bentar yang sama besar bentuk dan penggarapannya. Pangeran Kararangen hanya membangun kompleks Gua Arga Jumut dan Mande Kemasan.
Gua Sunyaragi pertama kali digunakan pada 1596 Masehi, mengacu kepada Sandra Cangkala (bulan dan waktu) dan Sultan yang meresmikan adalah Pangeran Emas Zainul Arifin, cucu Sunan Gunung Jati.