解除日から2ヶ月分は手動で削除してください。

オート設定は、設定時に2ヶ月先まで情報を入力します。
解除する時に２ヶ月分を残すか消去するか選べますので、「2ヶ月分の出勤を全て空欄にする」を選んで頂けますと設定は残りません。