إلى جنب بشر الحافي فجاء المحدثون إلى ابن زهراء وسألوه ان يدفنوا الخطيب في قبره وأن يؤثره به فامتنع فجاؤوا إلى أبي فأحضره وقال: انا لا أقول لك أعطهم القبر، ولكن لو أن بشرا الحافي في الاحياء وأنت إلى جانبه فجاء أبو بكر الخطيب ليقعد دونك أكان يحسن بك ان تقعد أعلى منه؟
قال: لا، بل كنت أقوم وأجلسه، قال: فهكذا ينبغي أن يكون الساعة، فطاب قلبه وأذن لهم. قال علي بن الحسين بن جدا: رأيت بعد موت الخطيب كأن شخصا قائما بحذائي فأردت أن أساله عن الخطيب فقال لي ابتداء: انزل وسط الجنة حيث يتعارف الأبرار.
قال غيث الأرمنازي قال مكي الرميلي: كنت ببغداد نائما في ليلة ثاني عشر في ربيع الأول سنة ثلاث وستين فرأيت كأنا عند الخطيب لقراءة تاريخه على العادة والشيخ نصر بن إبراهيم المقدسي عن يمينه وعن يمين نصر رجل سألت عنه فقيل هذا رسول الله صلى الله عليه وآله وسلم جاء ليسمع التاريخ، فقلت في نفسي: هذه جلالة لأبي بكر. قال غيث أنشدنا الخطيب لنفسه.
ان كنت تبغى الرشاد محضا * لأمر دنياك والمعاد فخالف النفس في هواها * ان الهوى جامع الفساد أخبرنا المسلم بن محمد ومؤمل بن محمد ويوسف الشيباني في كتابهم قالوا انا أبو اليمن الكندي انا أبو منصور الشيباني انا أبو بكر الحافظ انا أحمد بن محمد بن أحمد الأهوازي انا محمد بن جعفر المطيري نا الحسن بن عرفة نا يحيى بن زكريا بن أبي زائدة عن عبيد الله بن عمر عن أسامة