在EXCEL中,为什么用公式算出的值与计算器不一致,我检验过几遍了,都没问题。
在EXCEL中,为什么用公式算出的值与计算器不一致,我检验过几遍了,都没问题。
日期:2017-12-16 12:27:56 人气:1
计算器只有8位有效数字,且每执行一个步骤都会进行舍入,产生误差。一个运算执行10个步骤如10次加法,就有10次误差,每次舍去0.001,结果就把0.01给舍去了。
电脑有效数位较多,我在EXCEL中试了一下,可以15位有效数字。运算中始终可以保留着这个0.001甚至更小的数值,而且直到该出结果了才会考虑四舍五入。
实际结果1.999999847
计算器里显示为1.9999998 因为在运算中7就被舍掉了,4不够进位就舍去
电脑里显示为1.9999999 因为实际结果1.999999847一