Excelのバージョンが古くなければ、
A B C D E
1 12:00 10 12:00 12:05 10.5
2 12:01 12 12:06 12:10 18.6667
3 12:02 6
4 12:03 5
5 12:04 10
6 12:05 20
7 12:06 21
8 12:07 5
9 12:08 30
E1
=AVERAGEIFS(B$1:B$500,A$1:A$500,">="&C1,A$1:A$500,"<="&D1)
下方向・↓
※A列がわずかに誤差を含んでいる場合は、正しい結果になりません。その場合は
A列選択→データ→区切り位置→次へ→次へ→日付 完了
として、表示通りの正確な値にしましょう。