ولم يتعد الباجي ذكر أسماء أعمامه وإخوته في وصيته لابنيه قائلا:
(واعلما أننا أهل بيت لم نخل بفضل الله من صلاح وتدين، وعفاف وتصاون، فكان بنو أيوب بن وارث عفا الله عنا وعنهم أجمعين جدنا سعد، ثم كان بنو سعد: سليمان، وخلف وعبد الرحمن واحمد... ثم كان بنو خلق عما كما: علي، وعمر وأبوكما سليمان وعماكما: محمد وإبراهيم، فلم يكن في أعمامكما الا مشهور بالحج، والجهاد، والصلاح، والعفاف، حتى توفي عنهم على ذلك عفا الله عنا وعنهم) نستخلص من هذا النص إن أباه كان ثاني أربعة أخوة، وكان هو أوسط خمسة ذكور، لان قصد الترتيب واضح من كلامه، ولم يرد هنا للإناث ذكر لا لانعدامهن، لكن تصاونا وتعففا، كما لم يشر إلى علم أحد منهم، بل اكتفي بوصفهم بالحج والجهاد والتدين.
ولعل أخاه صاحب الصلاة بسرقسطة الذي لم يتعين اسمه من بين الأسماء السالفة الذكر، توفي بها عام (472 ه‍) مع ابن أخيه أبي الحسن محمد بن سليمان بن خلف.