فقال المنصور: هذا أوان حضور أجلي وانقضاء عمري. وكان قد رأى قبل ذلك في قصره الخلد الذي بناه وتأنق فيه مناما أفزعه فقال للربيع: ويحك يا ربيع! لقد رأيت مناما هالني، رأيت قائلا وقف في باب هذا القصر وهو يقول:
كأني بهذا القصر قد باد أهله * وأوحش منه أهله (1) ومنازله وصار رئيس (2) القصر من بعد بهجة * إلى جدث يبني عليه (3) جنادله فما أقام في الخلد إلا أقل من سنة حتى مرض في طريق الحج، ودخل مكة مدنفا ثقيلا. وكانت وفاته ليلة السبت لست وقيل لسبع مضين من ذي الحجة، وكان آخر ما تكلم به أن قال: اللهم بارك لي في لقائك. وقيل: إنه قال يا رب إن كنت عصيتك في أمور كثيرة فقد أطعتك في أحب الأشياء إليك شهادة أن لا إله إلا الله مخلصا. ثم مات. وكان نقش خاتمه. الله ثقة عبد الله وبه يؤمن. وكان عمره يوم وفاته ثلاثا وستين سنة على المشهور، منها ثنتان وعشرون سنة خليفة. ودفن بباب المعلاة رحمه الله.
قال ابن جرير: ومما رثي به قول سلم الخاشر الشاعر:
عجبا للذي نعى الناعيان * كيف فاهت بموته الشفتان ملك أن عدا (4) على الدهر يوما * أصبح الدهر ساقطا للجران ليت كفا حثت عليه ترابا * لم تعد في يمينها ببنان حين دانت له البلاد على العسف * وأغضى من خوفه الثقلان أين رب الزوراء قد قلدته * الملك عشرين حجة واثنتان إنما المرء كالزناد إذا ما * أخذته قوادح النيران ليس يثني هواه زجر ولا يقدح * في حبله ذوو الأذهان قلدته أعنة الملك حتى * قاد أعداءه بغير عنان يكسر الطرف دونه وترى الأيدي * من خوفه على الأذقان ضم أطراف ملكه ثم أضحى * خلف أقصاهم ودون الداني هاشمي التشمير لا يحمل الثقل * على غارب الشرود الهدان ذو أناة ينسى لها الخائف الخوف * وعزم يلوي بكل جنان