أبى خبيب بشئ فهدمها وبناها على ما كانت عليه في عهد رسول الله صلى الله عليه وسلم فلما فرغ من بنائها جاءه الحارث بن أبي ربيعة المعروف بالقباع وهو أخو عمر بن أبي ربيعة الشاعر ومعه رجل آخر فحدثاه عن عائشة عن رسول الله صلى الله عليه وسلم بالحديث المتقدم فندم وجعل ينكث في الأرض بمخصرة في يده ويقول وددت أنى تركت أبا خبيب وما تحمل من ذلك. فهذه المرة الخامسة. فلما قام أبو جعفر المنصور أراد أن يبنيها على ما بناها ابن الزبير وشاور في ذلك فقال له مالك بن أنس أنشدك الله يا أمير المؤمنين وأن تجعل هذا البيت ملعبة للملوك بعدك لا يشاء أحد منهم أن يغيره إلا غيره فتذهب هيبته من قلوب الناس فصرفه عن رأيه فيه. وقد قيل إنه نبي في أيام جرهم مرة أو مرتين لان السيل كان قد صدع حائطه ولم يكن ذلك بنيانا وإنما كان صلاحا لما وهى منه وجدارا يبنى بينه وبين السيل بناه عامر الجادر. وكانت الكعبة قبل ان يبنيها شيث عليه السلام خيمة من ياقوتة حمراء يطوف بها آدم ويأنس بها لأنها أنزلت إليه من الجنة وكان قد حج إلى موضعها من الهند. وقد قيل أيضا إن آدم هو أول من بناها. ذكره ابن إسحاق في غير رواية البكائي. وفى الخبر أن موضعها كان غثاءة على الماء قبل ان يخلق الله السماوات والأرض فلما بدأ الله يخلق الأشياء خلق التربة قبل السماء فلما خلق السماء وقضاهن سبع سماوات دحى الأرض أي بسطها وذلك قوله سبحانه وتعالى (والأرض بعد ذلك دحاها) وإنما دحاها من تحت مكة ولذلك سميت أم القرى.
وفى التفسير أن الله سبحانه حين قال للسموات والأرض (ائتيا طوعا أو كرها قالتا أتينا طائعين) لم يجبه بهذه المقالة إلا أرض الحرم فلذلك حرمها. وفى الحديث أن الله حرم مكة قبل أن يخلق السماوات والأرض الحديث.