I2C ist eigentlich nur für sehr kurze Strecken gedacht.

Schonmal an die Kabelkapazitäten gedacht ?

Mehr als 400pF sollte es nicht sein.
Ein gutes Netzwerkkabel bringt da meist erleichterung.

Hast du testweise mal den Takt heruntergesetzt und geschaut was passiert ?