退休返聘人员在解除聘用关系时,因为不是劳动关系,所以依据《劳动法》第二十八条的规定,不需要支付劳动法所规定的经济补偿金。如果聘用单位与被聘用退休人员签订了聘用合同,在合同中约定了解除聘用时,支付经济补偿金的情形,那么如果符合该约定的情形,就应该按照聘用合同的约定支付。