Ich bin immernoch davon überzeugt, dass dort ein Userspace-Treiberfehler vorliegt.
Habe das exakt identische Setup in einer neuen VM mit gleichen Settings (CPU,RAM,HDD,PCI-PassThrough,CPU-ID) mal testweise mit einem x86 Debian aufgesetzt.
Ergebnis: Kein hoher Load, keine Aussetzer.