Das Dorf Unterfinningen, wo das Schloss steht und heute einen Gasthof beherbergt, wurde erstmals 1262 als Vinningen benannt, also bereits vor 735 Jahren. 1268 gab es schon den Ortsadel von Vinningen, 1269/71 Nidernvinningen, Maierhof und einen herzoglichen Hof. 1326 hieß der Ort Dorfvinningen und 1334 Herrenvinningen, 1435 Oberfynningen und 1439 HERRENFINNINGEN. 1443 kamen von den Herrenfinninger Herren von Eslingen, an das Kloster Sankt Ulrich und Afra in Augsburg folgende Besitzungen in Herrenfinningen: der Burgstall und die Behausung, der Kirchensatz, Widemhof, 3 Höfe, 16 Sölden, 4 Hofstätten, die Badstube, Taferne, Zehnt, Gericht, Zwing und Bann. 1560 gehören zum "Dorf und Schloss Herrenfinningen" sechs Bauernhöfe und 34 Sölden, die dem genannten Kloster gehörten. Und 1803 bestand das Dorf Unterfinningen aus dem Schloss, einer Schule und 70 Häusern.

Unterfinningen war bis 1443 Sitz eines Adelsgeschlechts, 1268 von Finningen, ab 1345 von Erslingen. In dem ehemaligen Wasserschloss befand sich 1443 der Gerichts- und Verwaltungssitz der Hofmark des Klosters. Finningen geht auch auf Alemannische Gründung zurück, wie ein Fund (Glasperle des 6./7. Jahrhunderts) beweist.

Das Schloss Herrenfinningen blieb bis zur Säkularisation im Jahre 1803 im Besitz des genannten Klosters, ging dann aber in Staatsbesitz über und befindet sich nun seit 1929 im Besitz der Familie Brugger. Das heutige Schloss war ein Wasserschloss, dessen Graben heute eingeebnet ist. Im 1. Stock ist noch ein Raum mit Bandwerkstuck von 1720/30 und im 2. Stock ist ein Raum von etwa 1750 aufzufinden, der in der Mitte in einer Muschelwerkkartusche, heute noch das Wappen des Klosters Sankt Ulrich und Afra, beinhaltet. Im Erdgeschoss beeindrucken die wuchtigen Gewölbedecken aus der Urbauzeit. Dieses Schloss ist für unsere Heimat noch heute ein wertvolles geschichtliches Denkmal.