سمع إسحاق بن شاهين، و عبد الجبار بن العلاء، ومحمد بن هاشم البعلبكي، والهيثم بن مروان العنسي، وأبا سعيد الأشج، وإبراهيم بن سعيد الجوهري، ومحمد بن بشار، وزيد بن أخزم، وسهل بن صالح الأنطاكي، ومحمد بن المثنى الزمن، ومحمد بن رافع، وإسحاق الكوسج، وعبد الله بن محمد الزهري، ويونس بن عبد الأعلى، وأحمد ابن عبد الرحمن الوهبي، وسعيد بن رحمة المصيصي، والحسين بن سيار الحراني صاحب إبراهيم بن سعد وأمما سواهم بخراسان، والعراق، والحجاز، والشام، ومصر، والجزيرة.
وصنف التصانيف الكبار، وكان ممن برز في العلم والعمل.
حدث عنه إمام الأئمة أبو بكر بن خزيمة مع سنه وفضله، وأبو حامد بن الشرقي، ومحمد بن يعقوب الأخرم، والحافظ أبو علي النيسابوري، وأبو إسحاق المزكي، وأبو أحمد الحاكم، وأبو عمرو بن حمدان، وحسينك بن علي التميمي، وزاهر بن أحمد السرخسي، وأبو الحسين الحجاجي، وأحمد بن محمد البالوبي، وخلق سواهم.
قال أبو عبد الله الحاكم: كان من الجوالين في طلب الحديث على الصدق والورع، وكان من العباد المجتهدين. سمعت أبا الحسين بن يعقوب الحافظ يقول: كان محمد بن المسيب يقرأ علينا، فإذا قال: قال رسول الله صلى الله عليه وسلم، بكى حتى نرحمه. قال: وسمعت محمد بن علي الكلابي يقول: بكى محمد بن المسيب الأرغياني حتى عمي. وسمعت أبا إسحاق المزكي، سمعت محمد بن المسيب، سمعت الحسن بن عرفة يقول: رأيت يزيد بن هارون بواسط وهو من أحسن الناس عينين، ثم رأيته بعين واحدة، ثم رأيته وقد عمي، فقلت له: يا أبا خالد! ما فعلت العينان