كان من وجوه جند مصر، فوثب، بعد موت أبيه، هو واثنا عشر رجلا بمصر، فأخذوا من بيت المال مقدار أرزاقهم، لم يزيدوا على ذلك، وهربوا فلحقوا بالزاب من نواحي قيروان. فاعتقد إبراهيم بن الأغلب على من كان في تلك الناحية من الجند وغيرهم الرياسة. وأقبل بهدي إلى هرثمة بن أعين أمير القيروان يومئذ ويلاطفه، ويعلمه أني على الطاعة، وأنني ما دعاني إلا الحاجة ومطل الديون لي. فاستعمله هرثمة على ناحية الزاب، فكفاه أمرها وضبطها.
وقدم على المغرب محمد بن مقاتل العكي، فأساء إلى الناس وظلم، فقاموا عليه، فنجده ابن الأغلب وأعاده إلى القيروان بعد أن طردوه منها. ثم كاتبوا الرشيد يستقيلونه من ابن مقاتل.
فاستعمل عليهم ابن الأغلب لما رأى نهضته وحسن طاعته وانقياد أهل القيروان له.) وكان فقيها، دينا، خطيبا، شاعرا، ذا رأي وحزم وبأس ونجدة، وسياسة، وحسن سيرة. قل أن ولي أفريقية أحد مثله في العدل والسياسة.
وقد طلب العلم وأخذ عن: الليث بن سعد، وغيره. وكان الليث يكرمه، وأعطاه جارية حسناء هي أم ابنه زيادة الله.
وكان له بمصر أخ اسمه عبد الله، محتشم نبيل. وأرسل أولاده إلى عند