La primera referencia sobre la torre Bernat de So la tenemos en 1366 cuando Bernat de So la vendio a xxxxxxxxxxxx.
La actual torre se construyó entre 1584 -1585 en el contexto de rivalidad con Puigcerdà. Rivalidad que ya venía de mucho tiempo atrás cuando el castillo de Llívia ubicado arriba en el monte aún estaba en pie (antes del 1479, año en el que fue derribado).
En 1834, la torre funciona como prisión y, en 1835, se traslada la Casa Consistorial que perdurará hasta el 1936.
A finales de los años cincuenta, la familia Esteva cedió el material de su farmacia, considerada la FARMACIA MÁS ANTIGUA DE EUROPA al Ayuntamiento de Llívia. Este material fue trasladado a la Torre Bernat de so hasta que, en 1981, se inaugura el Museo Municipal de Llívia donde entra como colección.
Actualmente, la Torre ejerce como sala de exposiciones temporales.