Dulunya, Candi Asu seringkali dijadikan tempat suci untuk pemujaan arwah leluhur, raja, maupun para dewa.
Sedangkan nama asli dari candi ini sebenarnya belum diketahui secara pasti. Nama ‘Asu’ pun merupakan nama baru yang diberikan oleh penduduk setempat.
Nama ‘Asu’ dipilih karena terdapat arca nandi yang wujudnya telah rusak hingga menyerupai seekor anjing (asu dalam Bahasa Jawa) saat candi pertama kali ditemukan. Sedangkan versi lain mengungkapkan jika warga setempat memberikan nama Candi Asu karena dulunya banyak berkeliaran anjing-anjing liar di sekitaran candi.
Tak hanya itu, nama ‘Asu’ ini disebut-sebut merujuk pada kata ‘asoh’ atau ‘ngaso’ yang berarti istirahat. Hal ini berkaitan erat dengan legenda tentang adanya makam atau tempat peristirahatan terakhir sang raja, Rakai Kayuwangi di candi tersebut.
Selain sejumlah catatan sejarah, beredar sebuah mitos mengenai latar belakang berdirinya candi ini yang begitu dipercaya oleh masyarakat setempat.