ثم عُزل مدة لطيفة، ثم أُعيد، ثم عُزِل بأخيه بهاء الدين، وتوجَّه إلى مصر على وظائف أخيه، ثم عاد إلى القضاء على عادته، ثم عُزل وحصل له محنة شديدة، ثم عاد إلى القضاء. واستمر به إلى أن توفي عام ٧٧١ هـ (١).
ولقد كان التقي يُوصِي ابنه التاج - رحمهما الله - أن لا يطلب القضاء ولا يرغب فيه؛ لئلا يُوكل إلى نفسه فيهلك، فإنَّ مَنْ تولى القضاء ذُبح بغير سكين.
يقول التاج ﵀: "وكان يقول لي في أيام مرضه قبل أن يحصل لي القضاء: إيّاكَ ثم إيّاكَ أن تطلُبَ القضاء بقلبك، فضلًا عن قالَبِك، فأنا أطلبُه لك؛ لعلمي بالمصلحة في ولايتك لك ولقومك وللناس، وأما أنت فاحذَرْ، لئلا يكِلَكَ اللهُ إليه، على ما قال ﷺ: "يا عبدَ الرحمنِ (٢) لا تَسْألِ الإمارة" (٣) الحديث.