Историческое поселение на месте нынешнего города непрерывно существовало по крайней мере с 1279 года, когда Гапсаль стал главной резиденцией Озель-Викского епископа и служил ей на протяжении последующих 300 лет германской (шведской, датской и немецкой) колонизации Эстонии. Многие постройки той эпохи сохранились в архитектурном облике города — к примеру, замок Хаапсалу, а также постоялый двор, в котором, как предполагается, останавливался и сам Пётр Великий после того как в 1721 году по Ништадскому мирному договору со Швецией город стал частью Российской империи.

Однако, вплоть до 1944 года город также являлся главным очагом культуры балтийских шведов в Эстонии до их эмиграции после Второй мировой войны.

Над городом возвышается Дозорная башня Епископского замка. Знаменитая легенда о Белой Даме окутывает тайной его руины.