Vielen Dank für die Mühe. Es funktioniert tatsächlich nur im “Texture UV Editor”. Was nun ein bisschen seltsam ist: Die Polygonauswahl wird nicht 1:1 zur Painting-Auswahl konvertiert. Die Painting-Auswahl (oder wie man das auch nennt) hat nun innen nochmal einen Rahmen, was sich dann entsprechend beim Fill Bitmap in der Maske zeigt.
Bei genauerem Hinschauen merk ich, dass das wohl daran liegt, dass die UV Inseln genau an diesen Bereichen enden und die Auswahl dort Stufen hat.
Ich schätze mal das lässt sich nur mit besserem Unwrapping und höherer Auflösung verbessern?