فدفن هناك إلى جانب زوجته المرأة الصالحة الحافظة لكتاب الله، عائشة بنت إبراهيم بن صديق غربي قبر الشيخ تقي الدين ابن تيمية " (135). وكانت زوجته عائشة قد توفيت قبله بتسعة أشهر تقريبا في مستهل جمادى الأولى سنة (741)، وكانت عديمة النظير في نساء زمانها لكثرة عبادتها وتلاوتها وإقرائها القرآن الكريم بفصاحة وبلاغة وأداء صحيح، وختمت نساءا كثيرات، وقرأ عليها من النساء خلق، وانتفعن بها وبصلاحها ودينها وزهدها في الدنيا، وتقللها منها مع طول العمر حيث بلغت ثمانين سنه، وكان المزي محسنا إليها مطيعا لا يكاد يخالفها لحبه لها طبعا وشرعا (136). وكانت والدة أمة الرحيم زينب زوج العلامة ابن كثير رحمه الله.
وقد عني المزي بأهل بيته، فكان يحضرهم مجالس السماع لا يستثني من ذلك حتى الجواري (137)، واشتهر من أولاده عبد الرحمان ابن يوسف الذي ولد له سنة (687) وتوفي بالطاعون العام سنة (749) وكان شيخا لشرف الدين الحسيني (138). وولي مشيخة دار الحديث النورية، ودفن بمقابر الصوفية على والده (139).