Le portail style Louis XIII (XVIIe°s) à fronton donne accès au château.
Il a été réalisé en pierre de marmouset, nids d'abeilles, variante des bossages de l'époque. [JP]
Des documents historiques attestent l'existence, dès le XII° siècle, d'une seigneurie et d'une paroisse à Ventavon.

Il est probable que la première construction fortifiée sur la colline ne devait être qu'une simple tour de guet communiquant avec Upaix, Sigoyer ou d'autres fortifications visibles de l'une à l'autre. On parlait d'oppidum, caractéristique de la civilisation celtique qui était un lieu de refuge public le plus souvent situé sur un endroit élevé. On utilise aussi le terme de castrum ou de motte castrale.

La tour première Nord serait du XI°s et le corps et la deuxième tour du XIV- XVe°s. Elles furent ensuite découronnées. La façade du bâtiment, légèrement courbe, voit ses ouvertures privées de la plupart de leurs meneaux, excepté pour les tours qui les ont conservées. Cette ancienne demeure féodale a subi plusieurs ajouts, mutilations et remaniements au cours des siècles.

La petite tour détachée du château à l'Ouest de l'enceinte privée n'a rien d'authentique et est de facture relativement récente.

Actuellement, le château est une propriété privée non visitable.