Excel演算誤差

Excelの演算誤差にはまる。

忘れてた。
桁数が大きい値を扱う場合は、要注意だったのだ。

どういうことかというと、
1.2-1.1=0.1
普通にエクセルを使っている場合だと0.1となりますが、そのセルの桁数をどんどん大きくしていくと
0.099999999999999900000000
こんなことになったりするわけです。
このほか、割とメジャー?な例としては、1/3を3倍すると0.9999ではなく1になるとか。

はー。どおりで正負の判定がうまくいかないわけで。
-1.0842E-18で負の判定とかびっくりだよ。

詳しくはエクセル「演算誤差」対策講座をどうぞ。

ひとまずの回避方法として、excel2010の設定方法は数式の再計算、反復計算、または精度を変更する

追記:↑の方法だといろいろといまいちだったので、結局のところROUND関数を使って回避することにしました。

φ(..)メモメモ。

以上、OVER!!