وهدم ابن الزبير الكعبة في جمادى الآخرة سنة 64، حتى ألصقها بالأرض، وذلك أن الحصين بن نمير لما أراد ابن الزبير هدمها امتنع، وامتنع الناس من الهدم، فعلا عبد الله بن الزبير على البيت، فهدم، فلما رآه الناس يهدم هدموا، فلما ألصقها بالأرض خرج ابن عباس من مكة إعظاما للمقام بها، وقد هدمت الكعبة، وقال له: اضرب حوالي الكعبة الخشب لا تبق الناس بغير قبلة.
وروى ابن الزبير عن خالته عائشة زوج النبي أنها قالت: قال لي رسول الله: يا عائشة إن بدا لقومك أن يهدموا الكعبة ثم يبنوها، فلا يرفعوها عن الأرض، وليصيروا لها بابين. فلما بلغ ابن الزبير بالهدم إلى القواعد أدخل الحجر في البناء حتى رفعها، وجعل لها بابين بابا شرقيا وبابا غربيا وصير على كل باب مصراعين، وكان على بابها الأول مصراع واحد، وجعل طول البابين إحدى عشرة ذراعا، وكان ارتفاعها في السماء ثماني عشرة ذراعا، فجعلها ابن الزبير تسعا وعشرين ذراعا، ولم يرفعها عن الأرض بل جعلها مستوية مع وجه الأرض.
وكان قد أخذ الحجر الأسود فجعله عنده في بيته، فلما بلغ البناء إلى موضع الحجر أمر فحفر له في الحجارة على قدره، ثم أمر ابنه عبادا أن يأتي، وهو في صلاة الظهر، فيضعه في موضعه، والناس في الصلاة لا يعلمون، فإذا فرغ من وضعه كبر، فجاء عباد بن عبد الله بن الزبير بالحجر، وأبوه يصلي بالناس الظهر في يوم شديد الحر، فشق الصفوف حتى صار إلى الموضع، ثم وضعه، وطول ابن الزبير الصلاة حتى وقف عليه، فلما رأت قريش ذلك غضبت وقالت: والله ما هكذا فعل رسول الله، ولقد حكمته قريش، فجعل لكل قبيلة نصيبا.
وكان الركن لما أصابه الحريق تصدع بثلاث قطع، فشده ابن الزبير بالفضة، ولما فرغ من البناء خلق داخل الكعبة وخارجها، فكان أول من خلقها وكساها القباطي، واعتمر من التنعيم، ومشى.