Fu costruito nel 1292 da Alberto Scoto; ne dà testimonianza un'iscrizione posta nella fontana del Montaguzzo, a livello delle fondamenta. Il palazzo denota rifacimenti di epoche posteriori, come le finestre, di impronta quattrocentesca, che si aprono nella facciata sud-est.

Secondo un cronista sconosciuto esso fu adibito anticamente ad abitazione del Giudice, venne ceduto dalla comunità a Bosio II, il quale vi apportò modifiche e ampliamenti, servì poi ai suoi successori come abitazione saltuaria. In esso inoltre, a detta di E.Ottolenghi, fu ricevuto nel 1543 il pontefice Paolo III Farnese in occasione della visita alla figlia Costanza. Il vasto locale al pino terreno è stato recentemente "restaurato", alzando il piano del pavimento di circa 80 cm.. Dal locale, prima delle recenti modifiche, partiva un cunicolo in direzione del vicino Torrione che doveva costituire una struttura di collegamento tra i due edifici. Attualmente é adibito ad abitazione privata.