異世送りによる防御ダウンは掛けた相手の身体が紫色になってる間だけで、短期間の重ねがけによる更なる弱体化みたいなのはないです
なので異世送りを掛けても1ダメージなら素直に帰ったほうがいいかも