Pilonova galerija, ustanovljena leta 1973, je nastala iz umetniške zapuščine, ki jo je sin slikarja in fotografa Vena Pilona Dominique Pilon po očetovi smrti (1970) podaril mestu Ajdovščina. V zapuščini je poleg umetniških del tudi bogat arhivski fond: dokumenti, rokopisi, korespondenca, knjige in osebni predmeti umetnika. Zbirko smo sčasoma obogatili z odkupi in darili, z leti pa so se znotraj nje poleg Pilonove zbirke izoblikovale še Zbirka del Pilonovih prijateljev, sestavljena iz umetniških imen, ki so kakorkoli povezana s Pilonom ali Pilonovo galerijo, Zbirka Vipavski Križ, rezultat serije likovnih kolonij, ki so se med letoma 1988 – 1999 odvijale v istoimenskem mestecu, že tradicionalno fotografsko srečanje Castrumfoto pridno bogati tudi našo fotografsko zbirko, v letu 2009 pa smo z velikodušno donacijo italijanske umetnostne zgodovinarke Laure Safred postali lastniki mednarodne Zbirke iz Foresterije.
Galerija združuje dve sosednji hiši v osrčju Ajdovščine, prva je Pilonova domačija, kjer je delovala pekarna slikarjevega očeta – prav tu so nastala nekatera najznamenitejša Pilonova dela, med njimi Kruh ter portreti očeta, Ivana Čarga, Marija Kogoja, ... Obe fasadi sta ločeno ohranjeni, tako kot tudi notranjost slikarjeve domačije z vsemi detajli. Avtor prenove obeh hiš v galerijo je ajdovski arhitekt Svetozar Križaj (1921-1996), ki je za to delo leta 1976 prejel Plečnikovo nagrado. V zgornjih nadstropjih je postavljena stalna razstava Vena Pilona, na kateri so na ogled njegove slike, risbe, grafike, fotografije, kipi ter dokumentarno gradivo in umetnikovi osebni predmeti. Ob stalni zbirki Pilonova galerija ponuja tudi občasni razstavni program, ki vključuje slikarstvo, kiparstvo, grafiko, risbo, arhitekturo, oblikovanje in fotografijo. Tovrstnim razstavam, ki se mesečno menjajo, pripada pritličje Pilonove galerije, kjer se občasno odvijajo tudi predavanja, glasbene, literarne in druge kulturne prireditve.