Nabi Adam berangkat ke Mekah untuk ziarah dan melihat Mekah. Allah Swt, berfirman, "Tahukah kamu (Adam) bahwa Aku mempunyai sebuah rumah di bumi ini?" Adam menjawab, "Ya Allah, saya tidak tahu."
Allah Swt berfirman, "Sesungguhnya Aku mempunyai sebuah rumah di Mekah, maka datangilah."
Imam Baihaqi di dalam kitabnya yang berjudul Dalailun Nubuwwah mengenai pembangunan Ka'bah disebutkan bahwa Allah SAWT mengutus Jibril kepada Adam dan Hawa, membawa perintah kepada keduanya agar keduanya membangun Ka'bah.
Kemudian Adam membangunnya. Setelah itu, Allah memerintahkan kepadanya untuk melakukan tawaf di sekeliling Ka'bah. Dikatakan kepadanya, "Engkau adalah manusia pertama (yang beribadah di Baitullah), dan ini merupakan Baitullah yang mula-mula dibangun untuk tempat beribadah manusia."
Seiring perubahan zaman, bangunan Ka'bah yang dibangun Nabi Adam mengalami kerusakan. Kemudian, di zaman Nabi Ibrahim as, Allah mengutusnya untuk membangun kembali Ka'bah. Hal ini tertuang dalam Alquran.