Das Museum im Zeughaus geht auf die Sammlung von Karl Bauert zurück. Karl Bauert (1929 - 2009) arbeitete während 32 Jahren als Kader-Mitarbeiter im Kantonalen Zeughaus Schaffhausen. Die historische Entwicklung der persönlichen Ausrüstung des Schweizer Wehrmannes, die er aus nächster Nähe verfolgen konnte, interessierte ihn sehr. Mit viel Systematik und guter Intuition begann er, historische Ausrüstungsgegenstände zu sammeln, die durch Wehrmänner nach Abschluss ihrer Dienstpflicht zurückgegeben wurden und entsorgt worden wären. Die rasch wachsende Sammlung ergänzte er durch Zukäufe. So entstand schliesslich eine einzigartige Sammlung von Uniformen, Waffen und persönlichen Ausrüstungsgegenständen. 1993, kurz vor seiner Pensionierung, entschloss er sich, in Räumlichkeiten des Zeughauses ein kleines Museum zu realisieren.

Auch im Zeughaus eingemietet war die Sammlung von Martin Huber. Martin Huber (geb. 1941) war als Ingenieur und Jurist seit Abschluss seiner Studien mit der Industrie verbunden. Er war während 31 Jahren für den Georg Fischer Konzern tätig, zuletzt als Präsident des Verwaltungsrates. Als Oberst der Artillerie haben ihn Geschütze, Artillerietechnik und Motorfahrzeuge, aber auch Technikgeschichte interessiert. Aus Anlass der sich abzeichnenden Veränderungen in der Schweizer Armee begann er 1995 Geschütze und Motorfahrzeuge zu sammeln.

Seit 1989 beschäftigt sich Jürg Zimmermann mit historischen Blechblasinstrumenten, deren Technik ihn fasziniert. Jürg Zimmermann (geb. 1935) ist Historiker und unterrichtete während 36 Jahren an der Kantonsschule Schaffhausen Geschichte und alte Sprachen. Als Hauptmann der Artillerie war er während 20 Jahren Einheitskommandant bei der mobilen und später bei der Festungsartillerie. Sein Sammlerinteresse galt von Anfang an handwerklich und historisch wertvollen Instrumenten, die in der Schweiz hergestellt wurden. Inwieweit das einzelne Instrument früher in der Armee eingesetzt war, ist dabei nebensächlich. Wichtig sind das Instrument selbst und sein Hersteller. Bis 2005 war diese Sammlung im Einfamilienhaus von Jürg Zimmermann untergebracht.

2005 ergab sich dann für Karl Bauert, Martin Huber und Jürg Zimmermann die Chance, im historischen „Haus 5“ des Kantonalen Zeughauses gemeinsam ein technikgeschichtliches Museum zur Ausrüstung und Bewaffnung der Schweizer Armee einzurichten. Architekt Manuel Bergamini und der Künstler Erwin Gloor haben dieses lebendig und modern gestaltet.