شهر قم چنين آورده اند كه جعفر برادر امام عسكرى (عليه السلام) بعد از رحلت امام هادى (عليه السلام) پيش عبيدالله خاقان وزير مشاور و نزديك ترين فرد خليفه عباسى (معتمد) شتافت و درخواست نمود كه موقعيت پدر و برادر خود را به او تفويض نمايد! او مىپنداشت كه مقام امامت و ولايت از آن مناصب تفويضى و تشريفاتى است او در دادخواست خود اضافه نمود كه حاضر است در برابر اين اعطاء، هر سال مبلغ بيست هزار دينار، به مقام خلافت بپردازد.
فرماندار قم مى گويد: پدرم در مقابل اين درخواست احمقانه، خشمناك شد با عتاب و غضب اظهار نمود: احمق! خليفه ى وقت شمشير و تازيانهء خود را از غلاف، بيرون كشيده بود تا كسانى را كه به امامت پدر و برادر تو، عقيده و ايمان داشتند از اين راه، باز دارد ولى چنين موقعيتى به او دست نداده است، تو مى خواهى چنين مقام و موقعيت را با پول از خليفه بازستانى؟! عجب فكر خام و انديشهء نارسايى دارى! اگر تو ميان پيروان پدر و برادر داراى موقعيت روحانى هستى تو را نيازى به توصيهء خليفه و اين و آن نيست و اگر تو داراى چنين موقعيت معنوى نيستى، پس با توصيه و اعطاى خليفه، نمى توانى به چنين منزلت و رتبه رسيده باشى!
ديگر از آن تاريخ پدرم دستور داد كه جعفر برادر امام حسن عسكرى (عليه السلام) را به تشكيلات خليفه راه ندهند و خليفه همواره در جست و جوى فرزند امام حسن عسكرى (عليه السلام) بود و به او دسترسى نداشت. ولى مقام امامت و منزلت امام حسن عسكرى (عليه السلام) فرزند زاده امام رضا (عليه السلام)، در سامرا به حدى بود كه در جلالت و عظمت هيچ كدام به پايه او نمى رسيد. او اضافه مى كند: حسن بن على با آن مهابت و جلالتش، با سكون و وقارش كه به دست آورده است ميان نوادگان على نظير و همتا ندارد. فراموش نمى كنم كه روزى در مجلس عمومى پدرم در سامرا حاضر بودم كه بر مردم بار عام داده بود و من بالاى سر او ايستاده بودم بزرگان كشور از طبقات مختلف براى ديدار پدرم دسته دسته مىآمدند و مىرفتند در اين هنگام، پرده دار ويژه تالار، با شتاب و عجله