دائما يردد في نفسه ما لم يخفه عن أحبابه: من طلب الجنة سارع إلى الطاعات، ومن أشفق من النار، رجع عن المحرمات، ومن زهد في الدنيا هانت عليه مصائبها. وتأبى نفسه الكريمة إلا أن تلتحف بأديم الأرض وتؤثر خبزا غير مأدوم، متحففة من زاد الدنيا ضاربة بها عرض الحائط لا تلوي على شئ فيها، متزودة للآخرة متأهبة للرحيل، منتظرة لقاء الحق أية لحظة، لأن جوار الكريم ضالة منشودة، ونهاية محمودة ينشرح لها صدور المؤمنين المتقين. كان أحب الأسماء إليه أبو تراب الذي أسماه إياه رسول الله صلى الله عليه وسلم.
وقد أبى أن ينزل قصر الإمارة بالكوفة وهو أمير، ثم آثر عليه الأرض الخلاء العراء البراح وقال: قصر الخبال لا أنزله أبدا.
ليس هذا فحسب إنما يلتذ من خشن الملبس، قائلا في نفسه: إن الزهد يصرف عنه، ويساعده على الخشوع في الصلاة، إن الذي يركن إلى الدنيا مثله كمثل من يركن إلى جدار متصدع منهار، قال تعالى في كتابه الكريم: (والعاقبة للتقوى) (والعاقبة للمتقين).
والترف واللهو مطمع النفوس الدنيئة التي ترغب العاجلة، ولا تلقي بالا للآجلة، هذا هو عين الضيق الفكري والعقلي معا.
وقال الدكتور أبو الوفاء الغنيمي التفتازاني المصري في " المدخل إلى التصوف " (ص 53 ط دار الثقافة بالقاهرة):
وكان علي مثلا بارزا في الزهد والتقشف والدعوة إليهما، فقال لعمر بن الخطاب:
إذا أردت أن تلقى صاحبك، فاقع قميصك، واخصف نعلك، وقصر أملك، وكل دون الشبع.
وقد قال عنه ابن عيينة: إنه كان أزهد الصحابة، وشهد له الإمام الشافعي بأنه كان عظيما في الزهد.