Wie bekomme ich das weg??

Genau! Flächenschatten verwenden!

Lösche Shadow-Maps am besten komplett aus deinem Gedächtnis. Das ist ein Fake, den man vor vielen Jahren eingesetzt hat, um Flächenschatten irgendwie zu simulieren. Das funktioniert nur wenn zwischen Schattenwerfer und Schattenempfänger ein gewisser Abstand bleibt. Ich hab’ Shadow-Maps schon Jahre nicht mehr verwendet.