Trots att en del historiska dokument anger att staden grundades på 400-talet f.Kr., visar arkeologiska data att staden grundades så långt tillbaka som på 1000-talet f.Kr. På 300-talet f.Kr., hade staden växt till att bli en av de 10 största städerna på ön. På denna tid kom buddhismen till Sri Lanka. Med detta började den stora byggnationseran under vilken jättelika klosterkomplex och några av de högsta byggnaderna i gamla världen byggdes. Stadens "Jetavanaramaya Dagoba" är än idag den högsta tegelbyggnaden i världen. Stora sjöar skapades också av städernas ledare för att bevattna risfält och för att förse staden med vatten. "Nuwara wewa" och "Tissa wewa" är de mest kända sjöarna i staden.
Staden var huvudstad i landet från 500-talet f.Kr. till år 1017 e Kr. Dess nedgång började med ständiga krig mot invaderande sydindier som gjorde landet mycket fattigt. Den stora staden togs över av sydindiska Cholastyrkor år 1017. Med detta flyttades huvudstaden till Polonnaruwa. Förstörelsen i staden och på dess avancerade bevattningssystem var så stort att staden helt övergavs. Det var först på 1800-talet som staden återbildades av britter. Idag kan den gamla staden spåras genom dess ruiner medan den nya staden har en befolkning på omkring 55 000 (2001). Huvudattraktionen för såväl inhemska som utländska turister i landet är det heliga trädet Sri Maha Bodhi, som är det äldsta trädet i världen, planterat av människor, som fortfarande lever. Det planterades 288 f.Kr. och är idag alltså 2311 år gammalt.