Der Fehler entsteht eigentlich nicht durch die zeitversetzte Wandlung, sondern dadurch, daß man hinterher annimmt, die Wandlung wäre gleichzeitig vollzogen worden. Ich könnte mir vorstellen, daß man durch Interpolation den Fehler nachträglich (auf der digitalen Ebene) wieder rausrechnen kann.

Ob das nötig ist weiss ich nicht (weil ich Deine Anwendung nicht kenne).

Weil Du aber von einem Audiosignal sprichst, könnte man sich überlegen, welchen Effekt die Verzögerung eines Kanals von einem Stereosignal für die Wahrnehmung haben könnte.
Bei einer Schallgeschwindigkeit von 330 m/s breitet sich der Schall in 1,5 Mikrosekunden um etwa einen halben Millimeter fort. Das wäre mit einer minimalen, kaum wahrnehmbaren Kopfdrehung auch passiert (oder kompensiert). In diesem Fall, schätze ich, würde die Zeitverzögerung nichts ausmachen.