وقد ثبت في الصحيحين عن عائشة رضي الله عنها أن رسول الله صلى الله عليه وسلم قال لها: " ألم ترى أن قومك قصرت بهم النفقة. ولولا حدثان قومك بكفر لنقضت الكعبة وجعلت لها بابا شرقيا وبابا غربيا، وأدخلت فيها الحجر ".
ولهذا لما تمكن ابن الزبير بناها على ما أشار إليه رسول الله صلى الله عليه وسلم وجاءت في غاية البهاء والحسن والسناء كاملة على قواعد الخليل، لها بابان ملتصقان بالأرض شرقيا وغربيا، يدخل الناس من هذا ويخرجون من الآخر.
فلما قتل الحجاج ابن الزبير كتب إلى عبد الملك بن مروان، وهو الخليفة يومئذ، فيما صنعه ابن الزبير، اعتقدوا أنه فعل ذلك من تلقاء نفسه.
فأمر بإعادتها إلى ما كانت عليه فعمدوا إلى الحائط الشامي فحصوه وأخرجوا منه الحجر ورصوا حجارته في أرض الكعبة، فارتفع باباها وسدوا الغربي، واستمر الشرقي على ما كان عليه، فلما كان في زمن المهدى - أو ابنه المنصور - استشار مالكا في إعادتها على ما كان صنعه ابن الزبير. فقال مالك رحمه الله: إني أكره أن يتخذها الملوك ملعبة فتركها على ما هي عليه. فهي إلى الآن كذلك وأما المسجد الحرام: فأول من أخر البيوت من حول الكعبة عمر بن الخطاب رضي الله عنه، اشتراها من أهلها وهدمها، فلما كان عثمان اشترى دورا وزادها فيه، فلما ولى ابن الزبير أحكم بنيانه، وحسن جدرانه وأكثر أبوابه. ولم يوسعه شيئا آخر.
فلما استبد بالامر عبد الملك بن مروان زاد في ارتفاع جدرانه، وأمر بالكعبة فكسيت الديباج. وكان الذي تولى ذلك بأمره الحجاج بن يوسف.
وقد ذكرنا قصة بناء البيت والأحاديث الواردة في ذلك في تفسير سورة البقرة عند