سمع سفيان بن عيينة وعبد الله بن إدريس والنضر بن شميل وعبد الرزاق وطبقتهم وهو أحد من عنى بالسنن حالا وقالا. روى عنه الجماعة سوى ابن ماجة، وأبو زرعة وأبو خزيمة، وآخر من زعم أنه سمع منه حاجب بن أحمد الطوسي، وذلك من أعلى شئ وقع لنا في الثقفيات.
أخبرنا علي بن محمد وأحمد بن محمد قالا انا أبو القاسم الأنصاري (ح) وأخبرنا أبو الحسين اليونيني انا أحمد بن محمد وجعفر بن علي وعلى ابن هبة الله قالوا. انا أبو طاهر السلفي انا أبو عبد الله الثقفي نا ابن محمش انا حاجب بن أحمد نا محمد بن رافع نا إبراهيم بن الحكم بن أبان حدثني أبي عن عكرمة ان أبا هريرة حدثه ان رسول الله صلى الله عليه وآله وسلم مر برجل يسوق بدنة وهو يمشى فسأله النبي صلى الله عليه وآله وسلم فقال: انها بدنة، فأمره ان يركبها. قال جعفر بن أحمد الحافظ: ما رأيت في المحدثين أهيب من محمد بن رافع، كان يستند إلى شجرة الصنوبر في داره فيجلس العلماء بين يديه على مراتبهم وأولاد الظاهرية ومعهم الخدم كأن على رؤسهم الطير، فيأخذ الكتاب ويقرأ بنفسه ولا ينطق أحد ولا يتبسم اجلا لا له فان نطق أحد قام. قال زكريا بن دلويه بعث الأمير طاهر إلى ابن رافع بخمسة آلاف فردها وقال: الشمس قد بلغت رأس الحيطان وبعد ساعة تغرب ولم يقبل: قال أحمد بن عمر بن يزيد نا محمد بن رافع سمعت عبد الرزاق سمعت معمرا يقول: رأيت باليمن عنقود عنب وقربغل تام. قال مسلم والنسائي: ابن رافع ثقة مأمون.
وقال زنجويه: ان محمدا مات في ذي الحجة سنة خمس وأربعين ومائتين