ومن شيوخه: سعيد بن أبي مريم، وسعيد بن منصور، وأبو جعفر النفيلي، وعبد الله بن صالح.
ومن أقرانه: محمود بن غيلان، وأبو زرعة، وعباس الدوري ومن الأئمة والحفاظ عدد كثير منهم: أبو العباس السراج، وابن خزيمة، وأبو بكر بن زياد النيسابوري، وأبو حامد بن الشرقي، وأبو جعفر أحمد بن حمدان الزاهد، وأبو حامد أحمد بن محمد بن بلال، وأبو بكر محمد بن الحسين القطان، وأبو العباس الدغولي، وأبو علي بن معقل الميداني، ومكي بن عبدان، وحاجب بن أحمد الطوسي.
وانتهت إليه مشيخة العلم بخراسان.
قال محمد بن سهل بن عسكر: كنا عند الإمام محمد، فدخل محمد بن يحيى الذهلي، فقام إليه أحمد، وتعجب الناس منه. ثم قال لبنيه وأصحابه: اذهبوا إلى أبي عبد الله واكتبوا عنه.
وقال محمد بن داود المصيصي: كنا عند أحمد بن حنبل، فذكر محمد بن يحيى حديثا فيه ضعف، فقال له أحمد: لا تذكر مثل هذا.
فكأنه خجل، فقال له أحمد: إنما قلت هذا إجلالا لك يا أبا عبد الله. وقال محمد بن أحمد الجوزجاني: سمعت أحمد بن حنبل يقول: الزم محمد بن يحيى، فإني ما رأيت خراسانيا، أو) قال: أحدا، أعلم بحديث الزهري منه، ولا أصح كتابا منه.
قلت: وكان قد جمع حديث الزهري في كتاب حافل.
قال أبو بكر بن زياد: سمعته يقول: قال لي علي بن المديني: أنت وارث الزهري.
وعن ابن المديني أيضا قال: كفانا محمد بن يحيى جمع حديث الزهري.