وكان قدوم عمر بن عبد العزيز المدينة سنة 87 وثقله على ثلاثين بعيرا.
وضرب الوليد البعث على أهل المدينة، وكتب إلى عمر، فأخرج منهم ألفي رجل.
وبنى الوليد المسجد بدمشق، فأنفق عليه أموالا عظاما، وابتدأ بناءه في سنة 88، وكتب إلى عمر بن عبد العزيز أن يهدم مسجد رسول الله، ويدخل فيه المنازل التي حوله، ويدخل فيه حجرات أزواج النبي، وهدم الحجرات، وأدخل ذلك في المسجد. ولما بدأ بهدم الحجرات قام خبيب بن عبد الله بن الزبير إلى عمر والحجرات تهدم، فقال: نشدتك الله يا عمر أن تذهب بآية من كتاب الله، يقول: إن الذين ينادونك من وراء الحجرات، فأمر به، فضرب مائة سوط، ونضح بالماء البارد، فمات، وكان يوما باردا. فكان عمر لما ولي الخلافة، وصار إلى ما صار إليه من الزهد، يقول: من لي بخبيب!
وروى الواقدي أن الوليد بعث إلى ملك الروم يعلمه أنه قد هدم مسجد رسول الله، فليعنه فيه، فبعث إليه بمائة ألف مثقال ذهبا، ومائة فاعل، وأربعين حملا فسيفساء، فبعث الوليد بذلك كله إلى عمر، فأصلح به المسجد، وفرع من بنائه في سنة 90.
وبعث الوليد إلى خالد بن عبد الله القسري، وهو على مكة، بثلاثين ألف دينار، فضربت صفائح، وجعلت على باب الكعبة وعلى الأساطين التي داخلها وعلى الأركان والميزاب، فكان أول من ذهب البيت في الاسلام.
وحج الوليد سنة 91 لينظر إلى البيت وإلى المسجد وما أصلح منه، وإلى البيت وتذهيبه، فلما قرب من المدينة خرج عمر، فتلقاه بأشراف المدينة، فدخل المسجد، وجعل ينظر إليه، وأخرج الحرس كل من كان فيه خلا سعيد بن المسيب، فإنه لم يخرج، ولم يترجرج، فدخل الوليد، فجعل يطوف وسعيد ابن المسيب جالس، ثم قال الوليد: أحسب هذا سعيد بن المسيب؟ فقال له عمر: نعم! ومن حاله وحاله، إلا أنه ضعيف البصر. فجاء الوليد حتى وقف عليه، فقال: كيف أنت أيها الشيخ؟ فما تحرك، وقال: نحن بخير، يا أمير