وافعل بك واصنع، فلم يلتفت إلى ذلك، فعمل على الخروج، فاستدعاه أبو الحسن موسى فقال له: أنت خارج؟ فقال له: نعم لابد لي من ذلك فقال له: انظر يا بن أخي واتق الله لا تؤتم أولادي! وأمر له بثلاثمائة دينار، وأربعة آلاف درهم.
قالوا: فخرج علي بن إسماعيل حتى اتى يحيى بن خالد البرمكي، فتعرف منه خبر موسى بن جعفر، فعرفه إلى الرشيد وزاد فيه، ثم أوصله إلى الرشيد فسأله عن عمه فسعى به إليه، فعرف يحيى جميع خبره وزاد عليه وقال له: إن الأموال تحمل إليه من المشرق والمغرب. وإن له بيوت أموال، وانه اشترى ضيعة بثلاثين ألف دينار فسماها اليسيرة، وقال له صاحبها وقد أحضره المال: لا آخذ هذا النقد ولا آخذ إلا نقدا كذا وكذا، فأمر بذلك المال فرد وأعطاه ثلاثين ألف دينار من النقد الذي سأل بعينه، فسمع ذلك منه الرشيد وامر له بمائتي ألف درهم نسبت له على بعض النواحي، فاختار كور المشرق، ومضت رسله لقبض المال. ودخل هو في بعض الأيام إلى الخلاء فزحر زحرة فخرجت حشوته كلها فسقطت، وجهدوا في ردها فلم يقدروا، فوقع لما به، وجاءه المال وهو ينزع فقال: وما اصنع به وانا موت؟!
وحج الرشيد في تلك السنة فبدأ بقبر النبي صلى الله عليه وآله فقال: يا رسول الله إني اعتذر إليك من شئ أريد أن افعله أريد أن احبس موسى بن جعفر، فإنه يريد التشتت بين أمتك وسفك دمائها. ثم امر به فأخذ من المسجد فأدخل إليه فقيده، وأخرج من داره بغلان عليهما قبتان مغطاتان هو في إحديهما، ووجه مع كل واحد منهما خيلا، فأخذوا بواحدة على طريق البصرة، والأخرى على طريق الكوفة، ليعمى على الناس امره، وكان موسى في التي مضت إلى البصرة، فأمر الرسول ان يسلمه إلى عيسى بن جعفر بن المنصور، وكان على البصرة حينئذ فمضى به، فحبسه عنده سنة ثم كتب إلى الرشيد: ان خذه مني وسلمه إلى من شئت، وإلا خليت سبيله فقد اجتهدت ان آخذ عليه حجة فما أقدر على ذلك، حتى إني لا تسمع عليه إذا دعا لعله