وقال بعض خواص موسى بن جعفر له: ان فلانا ينافقك في الدين لأنه قال له صاحب المجلس: أنت تزعم أن موسى بن جعفر إمام؟ فقال: إن لم أكن أعتقد انه غير إمام فعلي وعلى من يعتقد ذلك لعنة الله والملائكة والناس أجمعين، فقال موسى (ع) إنما قال موسى عنى غير إمام أي ان الذي هو غير إمام فموسى غيره فهو إذا إمام فإنما أثبت بقوله هذا إمامتي ونفى إمامة غيري.
الشريف المرتضى في الغرر عن أبي عبد الله (ع) باسناده عن أيوب الهاشمي انه حضر باب الرشيد رجل يقال له نفيع الأنصاري وحضر موسى بن جعفر على حمار له فتلقاه الحاجب بالاكرام وعجل له بالاذن فسأل نفيع عبد العزيز بن عمر: من هذا الشيخ؟ قال: شيخ آل أبي طالب شيخ آل محمد هذا موسى بن جعفر، قال:
ما رأيت أعجز من هؤلاء القوم يفعلون هذا برجل يقدر أن يزيلهم عن السرير أما إن خرج لاسوئه، فقال له عبد العزيز: لا تفعل فان هؤلاء أهل بيت قل ما تعرض لهم أحد في الخطاب إلا وسموه في الجواب سمة يبقى عارها عليه مدى الدهر، قال: وخرج موسى وأخذ نفيع بلجام حماره وقال: من أنت يا هذا؟ قال: يا هذا إن كنت تريد النسب أنا ابن محمد حبيب الله بن إسماعيل ذبيح الله بن إبراهيم خليل الله وإن كنت تريد البلد فهو الذي فرض الله على المسلمين إن كنت منهم الحج إليه وإن كنت تريد المفاخرة فوالله ما رضوا مشركوا قومي مسلموا قومك أكفاءهم حتى قالوا يا محمد اخرج الينا أكفائا من قريش وإن كنت تريد الصيت والاسم فنحن الذين أمر الله بالصلاة علينا في الصلوات المفروضة تقول: اللهم صل على محمد وآل محمد فنحن آل محمد خل عن الحمار. فخلى عنه ويده ترتعد وانصرف مخزيا، فقال له عبد العزيز: ألم أقل لك؟.
قال ابن المعاذ:
سل بحال الامام يوم نفيع * كيف أخزاه للعين وكفر هو للأولياء اسم ومعنى * وهو في القلب للمحق مصور وأخذ عنه العلماء ما لا يحصى كثرته.
وذكر عنه الخطيب في تاريخ بغداد، والسمعاني في الرسالة القوامية، وأبو صالح أحمد المؤذن في الأربعين، وأبو عبد الله بن بطة في الإبانة، والثعلبي في الكشف والبيان. وكان أحمد بن حنبل مع انحرافه عن أهل البيت عليهم السلام لما روى عنه قال: حدثني موسى بن جعفر، قال: حدثني أبي جعفر بن محمد، قال: حدثني أبي محمد ابن علي، قال: حدثني أبي علي بن الحسين، قال: حدثني أبي الحسين بن علي، قال: