La primera referència sobre la torre Bernat de So la tenim en 1366 quan Bernat de So la va vendre a xxxxxxxxxxxx.
L'actual torre es va construir entre 1584 -1585 en el context de rivalitat amb Puigcerdà. Rivalitat que ja venia de molt temps enrere quan el castell de Llívia ubicat dalt a la muntanya encara estava en peu (abans del 1479, any en què va ser enderrocat).
En 1834, la torre funciona com a presó i, el 1835, es trasllada la Casa de la Vila que perdurarà fins al 1936.
A la fi dels anys cinquanta, la família Esteva va cedir el material de la seva farmàcia, considerada la FARMÀCIA MÉS ANTIGA D'EUROPA a l'Ajuntament de Llívia. Aquest material va ser traslladat a la Torre Bernat de so fins que, el 1981, s'inaugura el Museu Municipal de Llívia on entra com a col·lecció.
Actualment, la Torre exerceix de sala d'exposicions temporals.