وحمله في قبة إلى بغداد، فحبسه عند السندي بن شاهك. ويتفق ذلك مع ما رواه المجلسي معتمدا على أوثق الأحاديث الشيعية قال: وكان هارون حمله من المدينة لعشر ليال بقين من شوال سنة (177 - 179 المعرب) وقد قدم هارون المدينة في منصرفه من عمرة شهر رمضان، ثم شخص هارون إلى الحج، وحمله معه، ثم انصرف إلى طريق البصرة فحبسه عند عيسى بن جعفر، ثم أشخصه إلى بغداد فحبسه عند السندي بن شاهك. ثم يقول المجلسي: إنه توفي في حبسه ودفن في بغداد في مقبرة قريش.
ويضيف الفخري إلى ذلك قوله: وكان الرشيد بالرقة فأمر بقتله. فقتل قتلا خفيا، ثم أدخلوا عليه جماعة من العدول بالكرخ ليشاهدوه إظهارا أنه مات حتف أنفه.
ويذكر اليعقوبي عن شهادة العدول فيقول: وكان (أي موسى) ببغداد في حبس الرشيد. قتله السندي بن شاهك. فأحضر مسرورا الخادم وأحضر القواد والكتاب والهاشميين والقضاة ومن حضر ببغداد من الطالبيين لم كشف عن وجهه فقال لهم:
أتعرفون هذا؟ قالوا: نعرفه حق معرفة، هذا موسى بن جعفر. فقال لهم: أترون أن به أثرا ما يدل على اغتيال؟ قالوا: لا. ثم غسل وكفن وأخرج ودفن في مقابر قريش في الجانب الغربي.