例えば D1セルに今日の日付を入力しておきます。
(D1でなく、別のセルでも可。下記の式のなかにTODAY()を直接入れても可)
・B1:B20を選択した状態で、以下の条件付き書式を設定してください。
「新しいルール..」「数式を使用して、書式設定するセルを決定」
・[条件]
=AND(B1="",A1-3 <= $D$1,$D$1 < A1)
[書式] 塗りつぶし(黄)
・さらに、同じことを繰り返します。
[条件]
=AND(B1="",A1 <= $D$1)
[書式] 塗りつぶし(赤)
なお、B列に入力されたものが日付かどうかは見ていません。 入力があれば着色は解除される前提です。
本やネット上の記事を見ると、図解で手順が示されたものがあるので参照してください。