I tsing, seorang pendeta agama Buddha dari China yang beberapa kali mengunjungi dan tinggal di Sumatra menyebutkan bahwa P'oli secara samar-samar terletak di sebelah timur Barus, tetapi letaknya jauh di pedalaman.
Selanjutnya, Hsu Yun Tsiao memperkirakan, Panai tidak lain di sekitar kompleks percandianPadanglawas.
Pada abad ke-10 diperkirakan Kerajaan Panai telah berkembang dan menjadi kerajaan yang penting di Sumatra. Karenanya tidak mengherankan apabila Rajendra I dari kerajaan Cola melakukan penyerangan pada tahun 1025 AD.
Namun, tampaknya serangan tersebut tidak berhasil menghancurkan Panai karena terbukti pada abad-abad berikutnya justru kerajaan itu berkembang. Bahkan berhasil membangun berbagai karya monumental, seperti kompleks percandian Padang Lawas.