Menurut sejarahnya, Hajarul Aswad diturunkan oleh Allah dari langit ke atas Jabal Qubais. Ia merupakan sebiji permata putih, lebih putih dari salji, tetapi lama - kelamaan menjadi hitam sebab disentuh oleh orang - orang musyrik.

Kalau tidak kerana sentuhan tersebut nescaya cahayanya menerangi antara timur dan barat. Ini diterangkan dari hadis Rasulullah Sallallahu 'alaihi wasallam yang bermaksud: Dari Ibnu Abbas r.a. katanya, Rasulullah s.a.w bersabda :" Hajarul Aswad diturunkan dari syurga dan berwarna lebih putih dari susu. Dosa-dosa manusia (anak Adam ) menyebabkannya menjadi hitam " . Riwayat Ahmad dan Turmizi