La primera noticia que se conoce del castillo nos indica que En Bernat de Sarrià, Señor de Callosa, fue quien lo mandó edificar. En el año 1322 es él quien lo entrega al Infante Don Pedro. Sucesivamente lo ocuparán diferentes señores de Callosa como los Moncada o los Bou, hasta llegar a los últimos años del siglo XVII (momento en el que comienza a arruinarse) para posteriormente desaparecer alrededor de principios del siglo XVIII.
En la actualidad se pueden contemplar en la Plaza del Castillo algunos de los restos de la muralla de este castillo.
Los restos de la fortaleza en la que vivieron los sucesivos señores de Callosa han sido aprovechados para la construcción de algunas nuevas edificaciones. Así, restos de su muros se han incorporado a viviendas ubicadas en el centro del casco urbano.