Excelの演算誤差にはまる。
忘れてた。
桁数が大きい値を扱う場合は、要注意だったのだ。
どういうことかというと、
1.2-1.1=0.1
普通にエクセルを使っている場合だと0.1となりますが、そのセルの桁数をどんどん大きくしていくと
0.099999999999999900000000
こんなことになったりするわけです。
このほか、割とメジャー?な例としては、1/3を3倍すると0.9999ではなく1になるとか。
はー。どおりで正負の判定がうまくいかないわけで。
-1.0842E-18で負の判定とかびっくりだよ。
詳しくはエクセル「演算誤差」対策講座をどうぞ。
ひとまずの回避方法として、excel2010の設定方法は数式の再計算、反復計算、または精度を変更する。
追記:↑の方法だといろいろといまいちだったので、結局のところROUND関数を使って回避することにしました。
φ(..)メモメモ。
以上、OVER!!