Den första Herrgårdsbyggnaden på platsen uppfördes under 1700-talet, då i en våning. Under 1815–1816 byggdes den på med ytterligare två våningar och den storslagna inredningen tillkom på 1830-talet. Herrgården hade franska tapeter, väggmåleri med landskap och ett praktfullt möblemang. Tapeten i detta rum satt ursprungligen i herrgårdens musikrum. Även takkronan fanns på herrgården.
Brynäs herrgård har under åren tillhört de välkända Gävlefamiljerna Garberg och Rettig samt skeppsredare E Brodin. Redan då museet öppnade 1940 fanns tapeten på plats i detta rum.