وقال غيره: كان الرفيع فقيها بالعذراوية وبالشامية والفلكية، وكان يشغل الناس. وكان ذكيا كثير التحصيل. وصارت بينه وبين أمين الدولة علي بن غزال الوزير صحبة أكيدة، فولاه قضاء بعلبك، فلما توفي القاضي شمس الدين الخوئي طلبه أمين الدولة وولي قضاء دمشق. فصار له جماعة يكتبون محاضر زور على الأغنياء ويحضرونهم فينكرون، فيخرجون المحاضر فيعتقلهم بالجاروخية، فيصالحون على البعض، ويسير في السر إلى أمين الدولة ببعض ذلك.
فكثرت الشكاوى. وبلغ السلطان، فأمر بكشف ما حمل إلى خزانة الدولة في مدته. وكان الوزير لا يحمل إلى الخزانة إلا اليسير. فقال الرفيع: الأمور عندي مضبوطة مكتوبة. فخافه الوزير وشغب عليه قلب السلطان وحذره غائلته، فقال: أنت جئت به وأنت تتولى أمره أيضا. فأهلكه.
ومن تعاليق عبد الملك بن عساكر قال: وليلة استهلت سنة اثنتين نزل الوالي ابن بكا إلى دار الرفيع واحتاطوا على ما فيها، وشرعوا بعد يوم في البيع، فمن ذلك أربعة عشر بغلة ومماليك، وتسعمائة مجلد وجوار وأثاث. وساروا بالقاضي فألبسوه طرطورا وتوجهوا به نحو بعلبك.
وولي القضاء ابن الزكي.) وذكر صاحبنا شمس الدين محمد بن إبراهيم في تاريخه قال: وفيها، يعني سنة اثنتين، غزل الرفيع الجيلي عن مدارسه. فكان في آخر السنة الماضية قد عزل عن القضاء، وسبب عزله وإهلاكه الوزير السامري، فإن الرفيع كتب فيه ورقة إلى الملك الصالح يقول: قد حملت إلى خزائنك ألف ألف دينار من أموال الناس.
فقال الصالح: ولا ألف ألف درهم. وأوقف السامري على الورقة