Folgendes Testprogramm
brachte folgendes Ergebnis im Simulator:Code:Dim b1 as Byte , b2 as Byte Dim w1 as Word , w2 as WOrd Dim i1 as Integer , i2 as Integer Dim l1 as Long , l2 as Long Dim s1 As Single , s2 as Single Dim d1 as Double , d2 as Double b1 = 66 : b2 = sqr(b1) : print b2 w1 = 6600 : w2 = sqr(w1) : print w2 i1 = 6600 : i2 = sqr(i1) : print i2 l1 = 660000 : l2 = sqr(l1) : print l2 s1 = 660000 : s2 = sqr(s1) : print s2 d1 = 660000 : d2 = sqr(d1) : Print d2 end
was bei DOUBLE als vergleichbaren Datentyp in EXCEL bis zur letzten Kommastelle exakt übereinstimmt.8
81
81
812
812.403808593
812.403840463596
Das Problem liegt möglicherweise in Deinem Programmcode.
Wenn Du diesen hier posten könntest, wäre vielleicht eine weitere Hilfestellung möglich.







Zitieren

Lesezeichen