Das Baronenhaus wurde 1795 an der Stelle von zwei oder drei Häusern von Reichsvogt Baron Josef Pankraz von Grüebler (1737 - 1803) als privater Wohnsitz erbaut. Die Hausfassaden sind mit dekorativer Illusionsmalerei, vor allem mit Bildnissen römischer Kaiser und Gestalten der Antike geschmückt. Prachtvolle Intarsientäfer und bemalte Kuppelöfen, sowie bemalte Kabinette sind bei den geführten Besichtigungen zu bewundern. Es gilt als der bedeutendste Herrschaftsbau des Klassizismus im Kanton St. Gallen.
Das Baronenhaus kann im Rahmen einer Altstadtführung, welche durch das Info-Center der Stadt Wil organisiert werden, besichtigt werden.