卫山上有几个乳峰般挺立的烽火台，暗示着这里曾是一处海防要塞重地。600多年前，汤和受朱元璋之命，代巡海防，在宁波府设有宁波、定海、昌国、观海4卫，在观海卫建立了1卫2所（2所即龙山所、三山所）的防御体系。当时的观海卫不但驻有5600名重兵，而且其级别也很高，或听命于一省的最高军事长官都指挥使，或直接受命于全国最高军事指挥机构五军都督府。

    烽火台的建造，在中国有着悠久的历史。烽火台又名烽燧，如白天遇有敌兵来犯，守兵即在烽火台的凹槽内点燃木柴，用冲天而起的滚滚浓烟报警。如在晚上天黑，就点燃桔皋上的柴火，用火光报警。“边庭烽火惊，插羽夜征兵”。这种最便捷的报警方法，几千年来一直是战争时传递信息的主要渠道之一。可见卫山的烽火台不仅是海防的需要，而且还是中国战争史上的一个缩影。

    在卫山最东首的一个山峰上，有一门1000公斤重的大古炮，炮口直指昔日倭寇来犯方向。从铁锈斑斑的炮身上，我们不难想像当年抗倭战争的激烈。到了明代嘉靖年间，戚继光来到卫山，在卫山的北面安兵扎营，至今仍有营房、校场等遗迹和众多的抗倭传说。