La primera malatería de San Lázaro podría remontarse al año 1146, según José Ramón Tolivar Faes, pues existe un documento que menciona a un vicario de Santa María de Cervielles.
[1] Durante los siglos XV y XVI, el topónimo antiguo coexiste con el de San Lázaro de Entrecaminos, «una denominación que dará más adelante nombre al barrio», añade el estudio.
En 1929 el antiguo edificio fue sustituido por un nuevo edificio construido gracias al legado de Víctor Julio Cano y Mata Vigil en cuyo honor fue bautizado como Albergue Cano Mata.
El Gobierno regional se hizo cargo de la gestión del edificio en 1982, convirtiéndolo en residencia para mayores.
En 2007 se crea un centro de día para personas sin techo.