Para pemuka Quraisy membawa batu-batu di atas leher-leher mereka, di antara mereka adalah al-Abbas dan Rasulullah. Untuk setiap rukun dikhususkan sekelompok pembesar yang mengangkut batu batu kesitu, kemudian membangunnya kembali.
Ketika pembangunan sudah sampai pada peletakan kembali batu hajar al-Aswad, maka mereka bermaksud meletakkan Hajar al-Aswad pada tempatnya semula, maka para pemuka mereka berselisih tentang siapa yang berhak meletakkanya. Mereka berebut melakukan ini hingga nyaris berkobar api peperangan diantara mereka.
Perselisihan ini terjadi selama empat hari empat malam. Perselisihan itu terus memuncak dan dihawatirkan akan memicu terjadinya peperangan antar suku, maka Abu Umayyah Al Mughirah Al Makzumi paman Khalid ibnu Walid yang merupakan orang tua kalangan orang Quraisy berkata:
"Hai kaumku, janganlah kalian bertengkar dan putuskan siapa yang kalian ridhai keputusanya. Lalu mereka menjawab: kami serahkan urusan ini kepada orang pertama yang masuk Kakbah melalui pintu masjid. Pendapat ini disetujui oleh mayoritas kabilah.
Mereka puas setelah mengetahui ternyata yang masuk ke Kakbah lewat pintu Masjid adalah Muhammad. Maka mereka berkata kami setuju dengan Muhammad Al Amin Untuk menyelesaikan perselesihan tersebut, Muhammad Saw menggelar sorban, Nabi SAW mengambil Hajar al-Aswad dengan kedua tanganya di tengah-tengah sorban tersebut.