Området Ångsågen som museet ligger på har en lång historia. Redan när järnvägen kom till Nässjö 1864 byggde SJ sin lokstation här.

Den byggdes ut med tiden innan det blev för trångt och den nya lokstationen i norr stod klar 1911. Man byggde då förråd och ett annat hus där lokförare kunde övernatta eller ha kursverksamhet.

Riktigt långt tillbaka i tiden gick Runnerydssjön ganska nära området och Nässjö ångsåg låg alldeles intill. Därför fick kvarteret sedan heta Ångsågen. Området kallades dock i folkmun Pinnakajen, då pinnstolsfabriken hade sin utlastning på järnväg här. Till en början gick transporterna från fabriken hit på decauvillespår och senare på landsväg. Även lådfabriken hade en lastkaj på området, men idag lastar ingen på järnväg här längre.

Det gamla övernattningshuset revs på 50-talet och en ny banmästarbostad byggdes. Även SJ:s trädgårdsmästare höll till på området och hade sina blommor och sitt förråd här. Magasinet som själva museet ligger i uppfördes på 30-talet i samband med att man byggde dubbelspår på stambanan mellan Tranås och Mjölby. Sedan har den tjänat som förråd åt SJ och Banverket innan NJ renoverade huset.