Bald nach der Besetzung Belgiens durch die deutsche Armee beabsichtigt Heinrich Himmler, die Statue nach Süddeutschland zu bringen. Der Kunstschutz verhindert dies gemeinsam mit belgischen Stellen und birgt die Marmorplastik in einem der Turmpfeiler der Kirche. In der letzten Phase des Krieges wird sie dennoch weggeschafft - bereits angesichts der drohenden militärischen Niederlage werden zahlreiche Kunstgegenstände "ins Reich" befördert; diese Transporte spiegeln auch die (trügerische) Hoffnung, das Reichsgebiet werde nicht erobert werden und ein Grossteil der angeeigneten Objekte somit im Besitz Deutschlands bleiben.

Im September 1944 teilt ein Sonderbeauftragter des Oberkommandos der Wehrmacht dem Brügger Bischof mit, dass die Plastik weggeschafft wurde. Die Sicherheit vor Zerstörung sowie die Verhinderung der Verschleppung aus Europa wurde als Vorwand für den Abtransport angeführt, der allerdings bei Nacht und ohne Ankündigung durchgeführt worden war. Ein Lastkraftwagen bringt die Statue nach Bresken, dort wird sie auf die Fähre nach Vlissingen umgeladen. Während der Genter Altar in einer wohlvorbereiteten Aktion nach Deutschland gebracht wurde, wird die Brügge-Madonna unter schlechten Bedingungen und grossen Risiken nach Altaussee transportiert. Sie erreicht das Salzbergwerk am 6. Oktober 1944 und wird im Kaiser-Josef-Werk gelagert.

Bereits am 11. Juli 1945 wird die Statue in den Collecting Point nach München gebracht und bald darauf an Brügge zurückgestellt.