قال الضياء: وتزوج ببنت خاله رابعة بنت أحمد بن محمد بن قدامة، فولدت له محمد، وعبد الرحمن، وفاطمة، وعاشوا حتى كبروا. وتسرى بجارية في مصر، فلم توافقه، ثم بأخرى، فولدت له بنتين ماتتا ولم تكبرا.
سمعت عبد الحميد بن خولان أن الضياء أخبرهن قال: لما دخلنا إصبهان كنا سبعة، أحدنا الإمام أحمد بن محمد بن الحافظ، وكان طفلا، فسمعنا على المشايخ. وكان شيخنا مؤيد الدين ابن الإخوة عند جملة حسنة من المسموعات، فسمعنا عليه قطعة، وكان يتشدد علينا. ثم إنه توفي، فضاق صدري لموته كثيرا، لأنه كانت عنده مسموعات عند غيره. وأكثر ما ضاق صدري لأجل ثلاث كتب: مسند العدني، ومعجم ابن المقرئ، ومعجم أبو يعلى. وكنت قد سمعت عليه في السفرة الأولى مسند العدني ولكن لأجل رفقتي، فرأيت في النوم كأن الحافظ عبد الغني رحمه الله قد أمسك رجلا، وهو يقول لي: أم هذا، أم هذا. والرجل الذي أشار إليه هو ابن عائشة بنت عمر.
فلما استيقظت قلت في نفسي: ما قال هذا إلا لأجل شيء. فوقع في قلبي أنه يريد الحديث، فمضيت إلى دار بني معمر وفتشت الكتب، فوجدت مسند العدني سماع عائشة مثل ابن الإخوة، فلما سمعناه عليها قال لي بعض الحاضرين: إن لها سماعا بمعجم ابن المقرئ. قلت: أين هو قال: عند فلان الخباز. فأخذناه وسمعناه منها. و بعد أيام ناولني بعض الإخوان معجم أبو يعلى سماعها فسمعناه.
أنشدنا ابن خولان: أنشدنا أبو عبد الله الحافظ سنة ست وعشرين وستمائة: أنشدنا أبو عبد الله محمد بن سعد بن عبد الله لنفسه يرثي الحافظ:
* هذا الذي كنت يوم البين أحتسب * فليقض دمعك عني بعض ما يجب * * لم يبق في الأسى والسقم جارحة * نفس تذوب وقلب بعد ذا يجب * * تا الله لا رمت صبرا عنهم أبدا * وفي الحياة فما لي دونهم أرب *)