Jest to usytuowane na wysokiej kępie prastare miejsce osadnicze, o czym mówią znalezione na terenie wsi groby skrzynkowe sprzed 25 wieków. W 1874 roku znaleziono nadto na brzegu morskim skarb, składający się z 154 sztabek brązu o wadze 27 kilogramów.
Ale tak naprawdę Swarzewo słynie z cudownej figurki Matki Boskiej Królowej Polskiego Morza. Z powodzeniem wieś ta może uchodzić za "Jasną Górę" północnych Kaszub. Dwa razy w roku do Swarzewa pielgrzymują najpierw rybacy - w pierwszą niedzielę po 16 lipca na Szkaplerzną, a potem rolnicy - w pierwsza niedzielę po 8 września na Siewną. Madonna Swarzewska żyje w podaniach, przekazach i legendzie. Od wiekow wrośnięta jest w Pomorze Gdańskie, w Nadmorską Kaszubszczyznę. Jej gotycki wizerunek - dzieło nieznanego snycerza - nie przestaje przyciągać wciąż nowych pątników i miłośników sztuki.
Jakie drogi przywiodły Madonnę do Swarzewa ? Jak głosi legenda helscy protestanci wyrzucili Madonnę ze swej świątyni, a ta niesiona przez fale zatoki dotarła do Swarzewa.
