可以撤销。受赠人拒绝赡养，这个时候老人可以撤销遗赠扶养协议。扶养人或集体组织与公民订有遗赠扶养协议，扶养人或者集体组织无正当理由不履行，致协议解除的，不能享有受遗赠的权利，其支付的供养费用一般不予补偿。
【法律依据】
《合同法》第192条，受赠人有下列情形之一的，赠与人可以撤销赠与：
（一）严重侵害赠与人或者赠与人的近亲属；
（二）对赠与人有扶养义务而不履行；
（三）不履行赠与合同约定的义务。赠与人的撤销权，自知道或者应当知道撤销原因之日起一年内行使。
