Après avoir été palais épiscopal, le château passe aux mains de la famille Grimaldi qui y habitera jusqu’en 1608. Abandonné à la révolution, il servit tout à tour d’hôpital, de caserne, puis de musée à partir de 1908. L’arrivée de Picasso en 1946 changera sa destinée. Picasso, installé à Golfe Juan, se voit proposer par le conservatoire du musée une partie du château comme atelier pour lui permettre d’exercer son art. L’artiste y séjournera plusieurs mois et y réalisera de nombreuses œuvres (26 peintures et 43 dessins). Picasso se distinguera au cours de cette période par des techniques et des supports inhabituels comme de la peinture pour bateaux, du fibrociment et du contreplaqué, ce qui témoigne de la pauvreté de la période d’après guerre.

La collection commencée en 1951 par le conservateur la Souchère a été créée à partir de dons d’artistes qui ont exposé au musée et d’acquisitions faites au cours des années par la ville d’Antibes. On peut donc y voir également des œuvres d’artistes du Xème siècle comme Picabia, Balthus, Arman, César…