領導老是派我干另外的活

因為疫情原因，單位需要定期派人到隔離點工作，每個分管領導手下要派人，我的分管領導手下有五六個人，但是他老派我去，因為升職關系我還要靠他推薦，也不好拒絕，他手底下五六個人，其中我去過三次了，另外一個去過一次，剩下的人一次都沒去過，最近一次去過后，我越想越多，怕他下次再派我去，而我本身是一個不懂拒絕的人，又擔心升職問題如果拒絕會被領導難看，所以我又焦慮了，以前我也有過焦慮癥，因為別的事情。這次我在想我是不是需要馬上去找領導說下次不要派我去了還是怎么辦才好