وكان ابن كاسب إذا حدث عنه يقول: حدثني الثقة الرضي إسحاق بن جعفر عليه السلام وكان يقول بامامة أخيه موسى بن جعفر، وروى عن أبيه النص على إمامته.
وقال في العمدة: ويكنى أبا محمد، ويلقب المؤتمن، وولد بالعريض، وكان من أشبه الناس برسول الله صلى الله عليه وآله وأمه أم أخيه موسى الكاظم عليه السلام وكان محدثا جليلا، وادعت طائفة من الشيعة فيه الإمامة، وكان سفيان بن عيينة إذا روى عنه يقول: حدثني الثقة الرضي إسحاق بن جعفر بن محمد بن علي ابن الحسين عليهم السلام.
وكان محمد بن جعفر عليه السلام سخيا شجاعا وكان يصوم يوما، ويفطر يوما وكان يصرف في مطبخه كل يوم شاتا، وكان يرى رأى الزيدية في الخروج بالسيف، وخرج على المأمون في سنة 199 بمكة، وتبعه الجارودية فوجه عليه المأمون جندا بقيادة عيسى الجلودي فكسره وقبض عليه، وأتى به إلى المأمون فأكرمه المأمون ولم يقتله، وأصحبه معه إلى خراسان وقبره في بسطام، وهو الذي ذكرنا سابقا أن قبره في جرجان فان جرجان اسم لمجموع الناحية المعينة المشتملة على المدينة المدعوة بالاستراباد وغيرها مثل مصر والقاهرة والعراق والكوفة.
قال في مجالس المؤمنين في ضمن أحوال بايزيد البسطامي: إن السلطان اولجايتوخان أمر ببناء قبة على تربته وقد ذهب إلى إمامته بعد أبيه قوم من الشيعة يقال لهم السمطية: لنسبتهم إلى رئيس لهم يقال له يحيى بن أبي السمط.
وكان علي بن جعفر كثير الفضل، شديد الورع، سديد الطريق، راوية للحديث من أخيه موسى عليه السلام وهو المعروف بعلي بن جعفر العريضي نشأ في تربية أخيه موسى بن جعفر عليه السلام ومن أهل التضييف بأيدي الشيعة إلى هذا