المصلى، ومعنا ناس كثير. فلما رجعنا دعانا عبد الرزاق إلى الغداء، فجعلنا نتغدى معه، فقال لأحمد وإسحاق: رأيت اليوم منكما عجبا، لم تكبرا) فقالا: يا با بكر نحن ننظر إليك هل تكبر فنكبر، فلما رأيناك لم تكبر أمسكنا.
قال: وأنا كنت أنظر إليكما هل تكبران فأكبر.
قال جعفر بن أحمد بن نصر الحافظ: ما رأيت من المحدثين أهيب من محمد بن رافع. كان يستند إلى شجرة الصنوبر في داره، فتجلس الغلمان بين يديه على مراتبهم، وأولاد الطاهرية ومعهم الخدم كأن على رؤوسهم الطير.
فيأخذ الكتاب بيده ويقرأ بنفسه، ولا ينطق أحد ولا يتبسم إجلالا له. وإذا تبسم أحد في المجلس أو راطن صاحبه قال: وصلى الله على محمد. فلا يقدر أحد أن يراجعه أو يستزيده. ولقد تبسم خادم للطاهرية يوما، فقطع ابن رافع، وأنهى الخبر بعد ذلك. فأمر بقتل الخادم حتى احتلنا لخلاصه.
قال الحاكم: سمعت أبا جعفر محمد بن سعيد المذكر يقول: سمعت زكريا بن دلويه يقول: بعث طاهر بن عبد الله إلى محمد بن رافع بخمسة آلاف درهم، فدخل عليه الرسول بعد العصر وهو يأكل الخبز مع فجل، فوضعها وقال: بعث بها الأمير.
فقال: خذ خذ لا أحتاج إليه، فإن الشمس قد بلغت رأس الحيطان، إنما تغرب بعد ساعة، وقد جاوزت الثمانين إلى متى أعيش فدخل عليه ابنه فقال: ليس لنا الليلة خبز.
قال: فبعث بعض أصحابه خلف الرسول ليرد المال إلى حضرة صاحبه فزعا من أن يذهب ابنه خلف الرسول، فيأخذ المال.
قال زكريا: وربما كان يخرج إلينا في الشتاء الشاتي، وقد لبس لحافه الذي يلبسه بالليل.