بالحديث والفقه، ثم اتصل بخدمة علي بن شاذان المعتمد عليه بمدينة بلخ وكان يكتب له فكان يصادره في كل سنة فهرب منه، وقصد داود بن ميكائيل السلجوقي والد السلطان ألب أرسلان، فظهر له النصح المحبة فسلمه إلى ولده ألب أرسلان وقال له: اتخذه والدا ولا تخالفه فيما يشير به، فلما ملك ألب أرسلان دبر امره فأحسن التدبير وبقي في خدمته عشر سنين، فلما مات ألب أرسلان وملك ابنه ملكشاه فصار الامر كله لنظام الملك وليس للسلطان إلا التخت والصيد وأقام على هذا عشرين سنة.
وكان مجلسه عامرا بالفقهاء والصوفية، وكان إذا سمع الاذان أمسك عن جميع ما هو فيه.
وبنى المدارس والربط والمساجد في البلاد، وهو أول من أنشأ المدارس فاقتدى به الناس وشرع في عمارة مدرسته ببغداد سنة 457، وفي سنة 459 جمع الناس على طبقاتهم ليدرس بها الشيخ أبو إسحاق الشيرازي.
يحكى من حسن أخلاقه انه كان بينه وبين تاج الملك أبى الغنائم شحناء ومنافسة كما جرت العادة بمثله بين الرؤساء، فقال أبو الغنائم لابن الهبارية وكان من الملازمين لخدمة نظام الملك، إن هجوت نظام الملك فلك عندي كذا وأجزل له الوعد فقال: كيف أهجو شخصا لا أرى في بيتي شيئا إلا من نعمته فقال لابد من هذا فعمل هذه الأبيات:
لا غرو إن ملك * ابن إسحاق وساعده القدر وصف له الدنيا * وخص أبو الغنائم بالكدر والدهر كالدولاب * ليس يدور إلا بالبقر فبلغت الأبيات نظام الملك فقال: هو يشير إلى المثل السائر على ألسنة الناس وهو قولهم أهل طوس بقر.
وكان نظام الملك من طوس وأغضى عنه ولم يقابله على ذلك بل زاد في