Wenn man im Winter nicht heizt, und sonst nicht viel Wärme erzeugt könnte das schon passieren. Die mittlere Temperatur übers Jahr ist hierzulande nur etwa 10 Grad, das wäre mit zu wenig. Den Effekt findet man z.B. in Höhlen / Tunneln. Da kommt zur Isolierung (100 m Erdboden/Fels sind auch eine gute Isolation) alllerdings auch noch die hohe Wärmekapazität.