崇武"乃"崇尚武备"之意。这里古名"小兜",981年(宋太平兴国六年)惠安置县时,设崇武乡守节里,续置小兜巡检寨。元朝初期改为小兜巡检司。1370年(明洪武三年),活动在朝鲜和中国沿海的日本海盗集团--倭寇突然登陆祥芝的蚶江,对泉州地区的安全造成威胁。1387年(洪武二十年),明太祖朱元璋为了防御倭寇入侵,委派江夏侯周德兴巡视东南沿海。周德兴是个军事工程专家,他根据泉州沿海地区海岸线曲折、地形险要的特点,"一郡者设所,连郡者设卫"。当年,泉州设永宁卫,管辖五个所,即福全、中左、金门、高浦、崇武五所。惠安设立五座城,即崇武城、獭窟城、小岞城、黄崎城、峰尾城。崇武城为五城之一,隶属福建司永宁卫的一个千户所。
《崇武所城志》载:城"四方设门,各置楼于上","东、西、北三面月城,南无月城,门外照墙为屏蔽",城门及门楼至今保存完好。又载:"东城厚设敌台一座,防贼舟随潮内讧,便于观察",后于1574年(明万历三年)又在"南、北、西三面卜建四座,名曰虚台,其制上下四旁俱有大小穴孔,可以安铳,台内可容数十人",这些敌台距城门约50~100米左右,现均完好。环城还有窝铺26座,系供守城士兵休息用。