وكان ابن ملجم يجلس في مجلس تيم الرباب من صلاة الغداة إلى ارتفاع النهار، والقوم يفيضون في الكلام، وهو ساكت، لا يتكلم بكلمة، للذي أجمع عليه من قتل علي.
فخرج ذات يوم إلى السوق متقلدا سيفه، فمرت به جنازة يشيعها أشراف العرب، ومعها القسيسون يقرءون الإنجيل، فقال: (ويحكم، ما هذا؟) فقالوا:
(هذا أبجر بن جابر العجلي مات نصرانيا، وابنه حجار بن أبجر سيد بكر ابن وائل، فاتبعها أشراف الناس لسؤدد ابنه، واتبعها النصارى لدينه).
فقال: (والله لولا أني أبقى نفسي لأمر هو أعظم عند الله من هذا لاستعرضتهم بسيفي) فلما كانت تلك الليلة تقلد سيفه، وقد كان سمه، وقعد مغلسا ينتظر أن يمر به علي رضي الله عنه مقبلا إلى المسجد لصلاة الغداة.
فبينا هو في ذلك إذ أقبل علي، وهو ينادي: (الصلاة أيها الناس) فقام إليه ابن ملجم، فضربه بالسيف على رأسه، وأصاب طرف السيف الحائط، فثلم فيه، ودهش ابن ملجم، فانكب لوجهه، وبدر السيف من يده، فاجتمع الناس، فأخذوه، فقال الشاعر في ذلك:
ولم أر مهرا ساقه ذو سماحة * كمهر قطام من فصيح وأعجم ثلاثة آلاف وعبدا وقينة * وضرب علي بالحسام المصمم فلا مهر أغلى من علي وإن غلا * ولا فتك إلا دون فتك ابن ملجم وحمل علي رضي الله عنه إلى منزله، وأدخل عليه ابن ملجم.
فقالت له أم كلثوم ابنة علي: (يا عدو الله، أقتلت أمير المؤمنين؟.) قال: (لم أقتل أمير المؤمنين، ولكني قتلت أباك).
قالت: (أما والله إني لأرجو ألا يكون عليه بأس).
قال: (فعلام تبكين إذن؟ أما والله لقد سممت السيف شهرا، فإن اخلفني أبعده الله).
فلم يمس علي رضي الله عنه يومه ذلك حتى مات رحمه الله ورضي عنه.