Maka Adam membangunnya, kemudian Allah memerintahkan kepadanya untuk melakukan tawaf di sekeliling Kabah. Dikatakan kepadanya, "Engkau adalah manusia pertama (yang beribadah di Baitullah), dan ini merupakan Baitullah yang mula-mula dibangun untuk tempat beribadah manusia."
Namun hadis ini merupakan salah satu dari mufradat (hadis yang hanya diriwayatkan oleh satu orang) Ibnu Luhaiah, sedangkan Ibnu Luhaiah orangnya dinilai daif.
Jika merujuk pada pembangunan Kakbah, maka Nabi Ibrahim alihisalam (AS) adalah orang yang pertama kali diperintah Allah untuk membangun tempat ibadah. Hal ini tertuang dalam Alquran. Allah SWT berfirman:
اِنَّ اَوَّلَ بَيْتٍ وُّضِعَ لِلنَّاسِ لَلَّذِيْ بِبَكَّةَ مُبٰرَكًا وَّهُدًى لِّلْعٰلَمِيْنَۚ
فِيْهِ اٰيٰـتٌۢ بَيِّنٰتٌ مَّقَامُ اِبْرٰهِيْمَ ەۚ وَمَنْ دَخَلَهٗ كَانَ اٰمِنًاۗ وَلِلّٰهِ عَلَى النَّاسِ حِجُّ الْبَيْتِ مَنِ اسْتَطَاعَ اِلَيْهِ سَبِيْلًاۗ وَمَنْ كَفَرَ فَاِنَّ اللّٰهَ غَنِيٌّ عَنِ الْعٰلَمِيْنَ
Artinya: "Sesungguhnya rumah yang mula-mula dibangun untuk (tempat ibadah) manusia ialah Baitullah yang di Bakkah (Mekah) yang diberkahi dan menjadi petunjuk bagi semua manusia. Padanya terdapat tanda-tanda yang nyata (di antaranya) maqam Ibrahim; barang siapa memasukinya (Baitullah itu) menjadi amanlah dia; mengerjakan haji adalah kewajiban manusia terhadap Allah, yaitu (bagi) orang yang sanggup mengadakan perjalanan ke Baitullah. Barang siapa mengingkari (kewajiban haji), maka sesungguhnya Allah Mahakaya (tidak memerlukan sesuatu) dari semesta alam". (QS: Ali Imran 95-96)