وقد روى أن الكعبة أنزلت من السماء و هي ياقوتة أو لؤلؤة; على اختلاف الروايات وانها بقيت على تلك الصورة إلى أن فسدت الأرض بالمعاصي أيام نوح، وجاء الطوفان فرفع البيت، وبنى إبراهيم هذه البنية على قواعده القديمة.
وروى أبو جعفر، عن وهب بن منبه أن آدم دعا ربه فقال يا رب اما لأرضك هذه عامر يسبحك ويقدسك فيها غيري فقال الله انى سأجعل فيها من ولدك من يسبح بحمدي ويقدسني، وسأجعل فيها بيوتا ترفع لذكرى، يسبحني فيها خلقي، ويذكر فيها اسمي، وسأجعل من تلك البيوت بيتا اختصه بكرامتي، وأوثره باسمي، فأسميه بيتي، وعليه وضعت جلالتي وخصصته بعظمتي، و انا مع ذلك في كل شئ، اجعل ذلك البيت حرما آمنا يحرم بحرمته من حوله، ومن تحته، ومن فوقه فمن حرمه بحرمتي استوجب كرامتي، ومن أخاف أهله فقد أباح حرمتي، واستحق سخطي، واجعله بيتا مباركا يأتيه بنوك شعثا غبرا على كل ضامر من كل فج عميق، يرجون بالتلبية رجيجا، ويعجون بالتكبير عجيجا، من اعتمده لا يريد غيره، ووفد إلى وزارني واستضاف بي، أسعفته بحاجته; وحق على الكريم أن يكرم وفده وأضيافه; تعمره يا آدم ما دمت حيا، ثم تعمره الأمم والقرون والأنبياء من ولدك أمة بعد أمة، وقرنا بعد قرن.
قال ثم أمر آدم أن يأتي إلى البيت الحرام الذي اهبط له إلى الأرض فيطوف به كما كان يرى الملائكة تطوف حول العرش، وكان البيت حينئذ من درة أو من ياقوتة، فلما أغرق الله تعالى قوم نوح رفعه، وبقى أساسه فبوأه الله لإبراهيم فبناه.