精神残疾人在写遗嘱时，通常需要经过法院或医院的精神鉴定，以确认其是否具有完全民事行为能力。法院和医院作为鉴定机构，一般会根据法律规定和程序进行鉴定，并给出相应的结论。
如果法院或医院认为存在必要的理由，可以推辞进行精神鉴定。但是，这种推辞必须符合法律规定，并且需要充分说明理由。一般来说，如果法院或医院认为鉴定申请不符合法律规定，或者认为鉴定结果对案件没有实质性影响，可能会拒绝进行精神鉴定。
需要注意的是，法院和医院的鉴定结论对于遗嘱的有效性具有重要意义。如果法院或医院拒绝进行精神鉴定，可能会影响遗嘱的合法性和有效性。因此，在进行遗嘱撰写前，建议咨询专业律师的意见，以确保遗嘱的合法性和有效性。