قال ابن غزلون الأموي: (رأيت تاريخ مولده بخط أمه وكانت فقيهة) ولا نعرف تاريخ ميلادها ووفاتها، غير أنها كانت لا تزال حية سنة (439 ه‍) وكاتبت ابنها أبا الوليد الباجي عند ما كان بحلب تلح عليه في العودة إلى الأندلس، ذكر ذلك أبو الوليد الباجي نفسه قائلا: (إلى إن استدعاني إلى المغرب من كان بها من الوالدة والاخوة والأهل، فخرجت منها في صدر تسع وثلاثين وأربعمائة) ولا شك أنه تأثر بأمه الفقيهة التي لم يكن للأندلسيين آنئذ إن يصفوها بالفقهية لو لم تكن كذلك، ولذلك نشأ في بيئة علمية وكانت أمه هي المدرسة الأولى التي ارتشف منها اللبن والعلم وغدى الروح والجسد جميعا منذ نعومة أظفاره، وشب على طلب العلم.
أولاده:
كان لأبي الوليد الباجي ولدان: أبو القاسم أحمد بن سليمان بن خلف، وأبو الحسن محمد بن سليمان بن خلف (كان نبيلا ذكيا مرجوا) توفي في حياة أبيه بسرقسطة سنة (427 ه‍) ورثاه أبوه بقوله:
أمحمد إن كنت بعدك صابرا * صبر السليم لما به لا يسلم ورزئت قبلك بالنبي محمد * ولرزؤه ادهى لدي وأعظم فلقد علمت بأنني بك لاحق * من بعد ظني أنني متقدم لله ذكر لا يزال بخاطري * متصرف في صبره متحكم فإذا نظرت فشخصه متخيل * وإذا أصخت فصوته متوهم