Après l'attaque de Morlaix par les Anglais en 1522, la construction d'un fort est décidée pour interdire l'accès de la rivière. Le premier édifice est bâti dès 1542 sur l'îlot du Taureau. Au siècle suivant, l'infatigable Sébastien Le Prestre, marquis de Vauban, le transforme et le réaménage. Agrandi, il accueille une garnison et comprend désormais des logements pour les soldats et les officiers, deux cachots, une cantine, une cuisine, une chapelle et 11 casemates d'artillerie pour tir rasant. 

En 1721, Le fort devient une prison qui héberge des aristocrates victimes de lettres de cachet, puis des révolutionnaires.  En 1871, le célèbre Communard, Louis Auguste Blanqui, est le dernier prisonnier à séjourner sur le fort. Désarmé en 1890, le château du Taureau est transformé en résidence d'été. La DCA allemande s'y installe pendant la Seconde Guerre Mondiale.

Il abrite ensuite les locaux d'une célèbre école de voile avant d'être abandonné au début des années 80. En 2006, il est ouvert au public. D'avril à septembre, il est désormais possible de visiter le fort en empruntant des vedettes au départ de Carantec ou de Plougasnou.