فلما أيس من نفسه أمر بقبره فحفر في موضع عن الدار التي كان فيها وأنزل إليه قرحا فقرؤوا فيه القرآن حتى ختموا وهو في محفة على شفير القبر يقول ابن آدم تصير إلى هذا وكان يقول في تلك الحال وا سوأتاه من رسول الله صلى الله عليه وسلم.
وقال الهيثم بن عدي: لما حضرت الرشيد الوفاة غشي عليه ففتح عينيه منها فرأى الفضل بن الربيع على رأسه، فقال: يا فضل:
(أحين دنا ما كنت أرجو دنوه * رمتني عيون الناس من كل جانب) (فأصبحت مرحوما وكنت محسدا * فصبرا على مكروه أمن العواقب) (سأبكي على الوصل الذي كان بيننا * وأندب أيام السرور الذواهب) قال سهل بن صاعد: كنت عند الرشيد وهو يجود بنفسه فدعا بملحفة غليظة فاحتبى بها وجعل يقاسي ما يقاسي فنهضت فقال اقعد فقعدت طويلا لا يكلمني ولا أكلمه فنهضت فقال أين يا سهل؟ فقلت ما يتسع قلبي [أن أرى] يا أمير المؤمنين تعاني من المرض ما تعاني فلو اضطجعت يا أمير المؤمنين [كان أرواح]. فضحك ضحكا صحيحا ثم قال يا سهل أذكر في هذه الحال قول الشاعر:
(وإني من قوم كرام يزيدهم * شماسا وصبرا شدة الحدثان) ثم مات وصلى عليه ابنه صالح وحضر وفاته الفضل بن الربيع،