لابنه الأكبر محمد، وكان لا يصلح للملك لإدمانه الخمور وكثرة طيشه.
وقيل: كان به أيضا جذام. فاضطرب أمره، وخلعه الموحدون بعد شهر ونصف. ودار الأمر بين أخويه يوسف وعمر، فامتنع عمر وبايع أخاه مختارا، وسلم إليه الأمر، فبايعه الناس، واتفقت عليه الكلمة بسعي أخيه عمر، وأمهما هي زينب بنت موسى الضرير.
وكان أبو يعقوب أبيض بحمرة، أسود الشعر، مستدير الوجه، أفوه، أعين، إلى الطول ما هو، حلو الكلام، في صوته جهارة، وفي عبارته فصاحة. حلو المفاكهة، له معرفة تامة باللغة والأخبار. قد صرف عنايته إلى ذلك لما ولي لأبيه إشبيلية، وأخذ عن علمائها، وبرع في أشياء من القرآن والحديث والأدب.
قال عبد الواحد بن علي التميمي في كتاب المعجب: صح عندي أنه كان يحفظ أحد الصحيحين، غالب ظني أنه البخاري. وكان سديد الملوكية، بعيد الهمة، سخيا، جوادا، استغنى الناس في أيامه، وتمولوا.
قال: ثم إنه نظر في الفلسفة والطب، وحفظ أكثر الكتاب الملكي. وأمر بجمع كتب الفلاسفة، فأكثر منها وتطلبها من الأقطار. وكان ممن صحبه أبو بكر محمد بن طفيل الفيلسوف، وكان) بارعا في علم الأوائل، أديبا، شاعرا، بليغا، فكان أبو يعقوب شديد الحب له. بلغني أنه كان يقيم عنده في القصر أياما ليلا ونهارا، وكان هو الذي نبه على قدر الحكيم أبي الوليد محمد بن أحمد بن محمد بن رشد المتفلسف.
وسمعت أبا بكر بن يحيى القرطبي الفقيه يقول: سمعت الحكيم أبا الوليد يقول: لما دخلت على أمير المؤمنين أبي يعقوب وجدته هو وأبو بكر بن طفيل فقط، فأخذ أبو بكر يثني علي ويطريني، فكان أول ما فاتحني به أمير المؤمنين أن قال لي: ما رأيهم، يعني الفلاسفة، في السماء، أقديمة أم حادثة فأدركني الخوف فتعللت وأنكرت اشتغالي بعلم الفلسفة، ففهم مني