Nel corso del 1467 le ostilità fra il ducato di Milano e quello di Savoia indussero Galeazzo Maria Sforza, duca di Milano, a spostarsi lungo la Sesia, il fiume che faceva da confine fra i due Stati, per fronteggiare l'avanzata delle truppe di Amedeo IX di Savoia. Per organizzare lo spostamento dei soldati il Duca inviò nel Verbano un giovane capitano, messer Matteo de Grandis, che fu ospitato nella fortezza di Oleggio Castello dal nobile Alberto Visconti, lontano parente della madre del Duca, Bianca Maria.
Messer Matteo fu accolto con grande onore dal nobile Alberto, dalla moglie Beatrice e dalla giovane figlia Barbara, la cui bellezza ed un cuore generoso ricco di virtù colpirono immediatamente il giovane capitano. Il padre aveva promesso la sua mano, fin da piccola, al figlio di un vicino feudatario: il matrimonio gli avrebbe premesso di assicurarsi un importante alleato.
Nei giorni seguenti Matteo ebbe più volte occasione di incontrare Barbara e anche quando era impegnato nei preparativi militari ardeva dal desiderio di rivederla. Lei stessa era rimasta affascinata dal giovane militare, il quale aveva dimostrato di possedere una sensibilità non comune.
Non mancarono le occasioni di stare insieme sia nelle sale del castello che passeggiando nel giardino verso il lago. Fu così che sbocciò l'amore. A suggellare questo tenero sentimento, avvicinandosi il giorno della partenza di Matteo, i due amanti s'incontrarono nella cappella del castello e, dimentichi degli obblighi delle famiglie, si giurarono fedeltà e si baciarono, a suggellare il loro amore imperituro.
Pur desiderando che quei giorni durassero per sempre, le truppe erano pronte a marciare verso Ghemme, dove il duca Galeazzo Maria aveva stabilito il suo campo. Matteo dovette così abbandonare il castello e l'amata Barbara, e ben poco servirono le promesse di tornare al più presto per coronare il loro sogno d'amore.
Il giorno dopo la partenza dell'amato, Barbara cercò di raggiungerlo ma il padre, che, sospettando quanto era accaduto, la faceva sorvegliare, riuscì ad impedirle la fuga. Durante lo scontro che seguì Barbara confessò il suo amore per Matteo. Alberto le ricordò la promessa di matrimonio e, di fronte al rifiuto della figlia ad obbedire, le vietò di rivedere il capitano rinchiudendola nella torre.
Il nobile Visconti scrisse al Duca lamentandosi di come messer Matteo avesse approfittato della sua ospitalità, seducendogli la figlia, che lui aveva già promessa ad altri, e reclamando un giusto castigo. Galeazzo Maria Sforza, turbato dalla lettera, su parere del segretario ducale Cicco Simonetta decise di inviare Matteo insieme alla scorta che doveva accompagnare il fratello Tristano ed il pittore Zanetto Bugatto presso la corte di Francia, dove dovevano conoscere Bona di Savoia, sua futura sposa. A Matteo fu ordinato di rimanere in Francia al servizio di re Luigi XI e di non far ritorno in Lombardia senza un preciso ordine.
Madonna Barbara, all'oscuro della partenza di Matteo, ne attese invano il ritorno. I giorni divennero settimane e poi mesi mentre la giovane, rifiutandosi di uscire dalla sua stanza e di mangiare, si consumava nella disperazione. Privata del suo amore, non sapeva darsi pace e non voleva vedere neanche la madre. A nulla valsero i consulti dei medici e le cure dei genitori. Barbara morì di disperazione e di dolore.
Talvolta, durante la notte, si sentono dei gemiti e dei rumori provenire dalla torre. Qualcuno dice di aver visto un'ombra soffermarsi alla finestra, quasi scrutasse il lago in lontananza: la fantasia popolare vuole che sia il fantasma della bella Barbara che, aspettando Matteo, vaga ancor oggi senza pace in cerca del suo amore perduto.