وراع عليا أثناء خلافته كثرة الأعاجم في الإسلام فخاف أن يداخل اللحن القرآن ولذلك كان لا بد من حفظه، فاستدعى أبا الأسود الدؤلي وأرشده لوضع القواعد التي تحفظ لغة القرآن. ولما كانت ولاية زياد بن أبيه على العراق ندب أبا الأسود لإعراب القرآن.
ومنهم الفاضل المعاصر سميح عاطف الزين في " الإعراب في القرآن الكريم " (ص 43 ط دار الكتاب اللبناني - بيروت) قال:
ولقد أجمع الباحثون على أن نشأة علم النحو تعود إلى أيام أبي الأسود الدؤلي المتوفى سنة 69 ه‍ فقد روى أن أبا الأسود دخل يوما على أمير المؤمنين علي بن أبي طالب عليه السلام وهو في الكوفة، فوجده مطرقا متفكرا، فلما سأله عن سبب ذلك قال له علي عليه السلام: أني سمعت ببلدكم هذا لحنا فأردت أن أضع كتابا في أصول العربية.
وعاد أبو الأسود بعد فترة وجيزة، فألقى إليه علي عليه السلام برقعة أو صحيفة كتب فيها الأصول التي أرادها ومنها: أن الكلام كله اسم وفعل وحرف. والاسم هو ما أنبأ عن المسمى، والفعل ما أنبئ به، والحرف ما أفاد معنى.
ويروى أنه قال يوما لأبي الأسود: أنح هذا النحو، وأضف إليه ما وقع إليك واعلم يا أبا الأسود أن الأشياء ثلاثة: ظاهر، ومضمر، وشئ ليس بظاهر ولا مضمر، وإنما تتفاضل العلماء أو الناس بمعرفة ما ليس بظاهر ولا مضمر - وهو قد أراد بذلك الاسم المبهم.
ويقول أبو الأسود: إنني أضفت إلى ما وضع علي عليه السلام من أصول، أبواب:
العطف، والنعت، والتعجب والاستفهام، إلى أن وصلت إلى باب إن وأخواتها، فلما عرضتها على علي عليه السلام أمرني بضم لكن إليها وكنت كلما وضعت بابا آخر من أبواب النحو عرضته عليه إلى أن حصلت ما فيه الكفاية.