Osor se je razvil na območju, kjer sta se otoka Lošinj in Cres najbolj približala. Mestece je znano kot mesto muzej in je bilo že od nekdaj eno izmed vodilnih mestnih središč otokov Lošinj in Cres.
Največji razcvet je naselje doživelo v antični dobi. V preteklosti se je tukaj odvijal glavni tranzitni promet med dalmatinsko obalo in Severnim Jadranom, kar je omogočal prekopani kanal (Kavuada, Cavata, Cavanella). Osor je bil v tistem obdobju internacionalno pristanišče.
Na antičnem mestnem trgu se nahajajo zgradbe iz 15. in 16. stoletja, kot so mestna skupščina z nadkrito ložo, nekdanja mestna katedrala z zvonikom, nekdanji vodni zbiralnik in škofijska palača. Slikoviti trg predstavlja zgodovinsko središče Osorja.
V stavbi nekdanje mestne skupščine ima danes prostore Lošinjski muzej – Arheološka zbirka Osor. Renesančna enonadstropna zgradba je bila sezidana v prvi polovici 15. stoletja. Od leta 1964 je zaščitena kot kulturni spomenik. Za javnost je bila zbirka odprta leta 1889.
V prostrani loži se nahaja lapidarij, ki vsebuje rimske napise, arhitekturne kamnite okrase, renesančni nadvratnik z grbom in renesančne napise. V prvem nadstropju so večinoma razstavljeni predmeti iz obdobja zgodnjega rimskega cesarstva. Na podlagi teh najdb si obiskovalec lahko predstavlja vsakdanje življenje v Osorju v tistih časih.