فقال الرشيد لخادم له: خذ خاتم جعفر وانطلق به حتى تأتيني بهذا المال وسمى له جعفر جاريته التي عندها المال فدفعت إليه البدر بخواتيمها فأتى بها الرشيد فقال له جعفر: هذا أول ما تعرف به كذب من سعى بي إليك قال: صدقت يا جعفر انصرف آمنا فإني لا أقبل فيك قول أحد، قال: وجعل يحيى يحتال في اسقاط جعفر.
قال النوفلي: فحدثني علي بن الحسن بن علي بن عمر بن علي عن بعض مشايخه، وذلك في حجة الرشيد قبل هذه الحجة، قال: لقيني علي بن إسماعيل بن جعفر بن محمد فقال لي: مالك قد أخملت نفسك مالك لا تدبر أمر الوزير؟ فقد أرسل إلي فعادلته وطلبت الحوائج إليه.
وكان سبب ذلك أن يحيى بن خالد قال ليحيى بن أبي مريم: ألا تدلني على رجل من آل أبي طالب له رغبة في الدنيا، فأوسع له منها؟ قال: بلى، أدلك على رجل بهذه الصفة وهو علي بن إسماعيل بن جعفر بن محمد، فأرسل إليه يحيى فقال:
أخبرني عن عمك، وعن شيعته، والمال الذي يحمل إليه فقال له: عندي الخبر فسعى بعمه، فكان في سعايته أن قال: إن من كثرة المال عنده أنه اشترى ضيعة تسمى البشرية بثلاثين ألف دينار، فلما أحضر المال قال البايع: لا أريد هذا النقد أريد نقد كذا وكذا، فأمر بها فصبت في بيت ماله، وأخرج منه ثلاثين ألف دينار من ذلك النقد ووزنه في ثمن الضيعة.
قال النوفلي: قال أبي: وكان موسى بن جعفر عليهما السلام يأمر لعلي بن إسماعيل بالمال ويثق به حتى ربما خرج الكتاب منه إلى بعض شيعته بخط علي بن إسماعيل ثم استوحش منه، فلما أراد الرشيد الرحلة إلى العراق بلغ موسى بن جعفر عليه السلام أن عليا ابن أخيه يريد الخروج مع السلطان إلى العراق، فأرسل إليه: مالك والخروج مع السلطان؟ قال: لان علي دينا فقال: دينك علي قال: وتدبير عيالي قال: أنا أكفيهم فأبى إلا الخروج فأرسل إليه مع أخيه محمد بن جعفر بثلاثمائة