引用:
IEEE 754という浮動小数点演算*の規格に従うように設計されていて、例えば0.1なら2.8×10-17以下は切り捨てられる。
https://www.newssalt.com/32247
小数点以下の計算はエクセルでも昔から苦手な部分が多いように思います。
回避方法として提案できるとすれば、一度切り捨てたい部分までn×10倍し、小数点以下を切り捨ててしまう方法があります。
本件の場合、いったん125と25まで1000倍し、Mod処理を行うと正常に動作します。
それでも動作しない場合は小数点以下を切り捨てるROUNDDOWN(1000倍済みの値,0)で125に強制切り捨てすればよいかと思います。
その後、倍数分減らせば(1000分の1)元の基準に準じた値になるかと思います。