En juin 1940, les Allemands les transforment en camp de prisonniers pour les soldats français et britanniques, le Frontstalag 171 KN 654. Après le départ des prisonniers, le camp change de nom, il devient le Frontstalag 122 et commence à recevoir des militants politiques et syndicaux et des juifs étrangers à partir de juin 1941. Placé en principe sous la responsabilité du commandant de la place de Compiègne, le camp de Royallieu est en fait sous l'autorité du Sicherheitsdienst parisien, 74 avenue Foch.
En novembre 1942, les Allemands envahissent la zone Sud, arrivent alors à Royallieu les juifs et les résistants arrêtés dans cette zone mais également les Marseillais chassés du Vieux Port.
Au début de 1944, les Allemands décident de liquider les camps et prisons de France, le Frontstalag 122 devient le seul centre de rassemblement des détenus avant leur transfert vers les camps d'Allemagne et de Pologne.
