يجد له شيوخا كثيرين منهم سفيان بن عيينة وأبو الوليد الطيالسي ومحمد بن سعدان الضرير ووكيع بن الجراح وسليمان بن حرب وهشيم والفضل بن دكين والوليد بن مسلم ومعن بن عيسى وعشرات غيرهم، ولو راجع القارئ تراجم هؤلاء الشيوخ في كتب الرجال، لوجد معظمهم ممن لا يشك في عدالته. وهذا ما يجعلنا نعتقد أن المادة التي نقلها ابن سعد قد وجهت بالنقد الضمني لأنه تحرى قبل نقلها أن تكون في الأكثر مأخوذة عن العدول الثقات.
وهذا الموقف هو الذي كسب لابن سعد تقدير معاصريه ومن بعدهم، فكلهم تقريبا وثقه وأثنى عليه حتى قال فيه الخطيب: " محمد بن سعد عندنا من أهل العدالة وحديثه يدل على صدقه فإنه يتحرى في كثير من رواياته ".
وقال ابن خلكان: " كان صدوقا ثقة " وقال ابن حجر: " أحد الحفاظ الكبار الثقات المتبحرين " ووصفوه بالفضل والفهم والنبل، وفضلوه على أستاذه الواقدي فقال السخاوي " ثقة مع أن أستاذه ضعيف ". وقد تستوقفنا هنا ثلاث روايات تتصل بعدالته:
أولاها: أن ابن فهم - تلميذه - كان مرة عند مصعب الزبيري فمر بهم يحيى بن معين قال له مصعب: يا أبا زكريا، حدثنا محمد بن سعد الكتاب بكذا وكذا، فقال له يحيى: كذب. وقد اعتذر عنه الخطيب بأن تلك الأحاديث التي أنكرها يحيى ربما كانت من المناكير التي يرويها الواقدي، أي أنه ألقى اللوم على أستاذه أيضا. ومن أجل هذه القصة فيما يبدو قال ابن تغري بردي: وثقه جميع الحفاظ ما عدا يحيى بن معين.
الثانية: أن ابن أبي حاتم سأل أباه عنه فقال له: " يصدق " 1 - ولم يستعمل نعتا قويا في توثيقه - وزاد قائلا: رأيته جاء إلى القواريري وسأله عن أحاديث فحدثه.