La construction du château de la branche cadette des Lascaris, sur son site actuel, se fit en 1378.
L’enceinte sensiblement carrée est flanquée, sur l’angle sud-ouest d’une tour ronde à six niveaux (une salle par niveau). La conception de cette tour ronde est un archaïsme à cette époque, rappelant des tours similaires antérieures dans la région.
Les bâtiments à l’intérieur de l’enceinte s’élevaient jusqu’à quatre niveaux, et comprenaient notamment le logement seigneurial et une petite chapelle castrale.
Un fossé sec, visible sur un plan de 1656, entourait l’ensemble.
Ce serait en 1543 que les petits bastions auraient été ajoutés aux trois angles libres de l’enceinte, hors celui de la tour.
Le château des Lascaris résista à un siège des Gènois en 1625.
Pendant la Révolution, les troupes françaises menées par le général Rusca, aidé de Masséna, délogèrent les Savoyards-Sardes de La Brigue le 28 avril 1794. Le château fut alors incendié et abandonné. Se dégradant progressivement, il fut pillé d’une partie de ses pierres de construction.
La tour survécut, et pendant la seconde guerre mondiale les Allemands qui occupaient la commune l’ont utilisée comme poste d’observation.
En 1993, la commune entreprit les travaux de dégagement des murs du château.
Depuis 1995, l’Association « Patrimoine et Traditions Brigasques » assure son entretien.