Историк Джеймс Эмерсон Теннент считал, что Галле соответствовал ветхозаветному городу Таршиш, из которого царь Соломон вывозил ланкийские самоцветы и слоновую кость. Город был крупным центром торговли — здесь вели свои дела персидские, греческие, римские, арабские, малайские и индийские купцы.

К моменту появления в 1505 году португальцев город назывался Гимхатиффа. В 1640 году на смену португальцам пришли голландцы. К 1663 году они построили гранитный форт Галле — крупнейшую сохранившуюся до настоящего времени крепость в Азии, созданную европейскими колонизаторами. В 1796 году город захватили англичане. При британском господстве роль Галле как портового города значительно упала, поскольку новые хозяева острова предпочли развивать порт Коломбо.

В настоящее время Галле является одним из главных центров туризма страны. Из достопримечательностей города, помимо форта Галле, можно отметить построенный иезуитами собор Святой Марии и другие многочисленные индуистские и буддийские храмы.

Город сильно пострадал во время цунами 2004 года, погибло несколько тысяч человек. Однако к настоящему моменту город практически полностью восстановлен, спад в туристической отрасли сменился новым подъёмом.