ينسب إلى الاعتزال، وكان جعفر ينسب إلى الرفض.
وروى عباس، عن ابن معين: كان يحيى بن سعيد يستضعفه.
ممد بن أبي بكر المقدمي: سمعت عمي عمر بن علي يقول: رأيت ابن المبارك في مسجدنا يقول لجعفر بن سليمان: رأيت أيوب قال: نعم. ورأيت ابن عون قال: نعم.
قال: فرأيت يونس قال: نعم.
قال: كيف لم تجالسهم وجالست عوفا. والله ما رضي عوف ببدعة حتى كانت فيه بدعتان. كان قدريا وشيعيا.
وقال البخاري في الضعفاء له: جعفر بن سليمان الحرشي، كان ينزل ببني ضبيعة، يخالف في بعض حديثه.
وقال السعدي: روى مناكير، وهو متماسك لا يكذب.
وقال أبو نعيم الحافظ: صحب ثابتا البناني، ومالك بن دينار، وأبا عمران الجوني، وفرقدا السبخي، وشميط بن عجلان.
روى عنه، سيار قال: اختلفت إلى مالك بن دينار عشر سنين، وإلى ثابت عشر سنين.