De sfeervolle woonkamer met hoektorentje op de eerste verdieping keek uit op de natuur (oosten en zuiden), de voormalige Engelse tuin. De slaapkamers en het atelier bevonden zich op de tweede verdieping. De derde verdieping besloeg een immense zolder. Het grote en hoge atelier gebruikte hij tot ca. 1980; hier ontstond een belangrijk deel van zijn oeuvre, waaronder grote een aantal grote schilderijen.
In 1980 nam Koolen vanwege het comfort een atelier naast de woonkamer in gebruik en verder een slaapkamer op dezelfde verdieping.
Het kasteel had rond 1900 reeds centrale verwarming met ribbenbuizen als verwarmingselementen, welke nog voor de oorlog werd ontmanteld. Daarna vond verwarming plaats door middel van kachels. Zo was er in het woongedeelte van Koolen een kolenkachel in de woonkamer en oliekachels in de ateliers en de logeerkamer. Brandstoffen werden in de kelders opgeslagen. De overige vertrekken waren niet verwarmd, een klein ongemak gedurende de winter. Het verschil in temperatuur 's winters in de woonkamer (tot 28 0C) - de schilder had het op latere leeftijd graag warm - en andere vertrekken (nauwelijks boven nul) was opmerkelijk. In warme zomers was het daarentegen aangenaam koel als gevolg van de dikke muren.
Het gezin Koolen, met name mevrouw, hield van dieren: naast een hond zwierf in huis een vos rond en waren er twee jonge uilen, uit de schoorsteen gered. Zij fladderden overdag door de woonkamer en werden ’s nachts door ma uil in de aangrenzende kleine toren gevoerd. Op volwassen leeftijd kozen zij in naburige bossen de vrijheid.
In het hoofdgebouw woonde in dezelfde periode de eerder genoemde fam. Knols en verder de fam. Seelen, in de bijgebouwen in de loop der jaren ondermeer de families Reinders, Gall, De Vries (Ru de Vries, graficus, kunstschilder en tegenwoordig beeldhouwer, met wie Koolen bevriend was en enkele studiereizen ondernam), Haenraeds (Wim Haenraeds, eveneens kunstschilder), Eckhardt en Moonen.
Het wonen in het natuurgebied was zeer aangenaam. Op enkele honderden meters bevond zich het openbare zwembad Terworm, helaas in de tachtiger jaren afgebroken.
De winters waren wat kouder dan tegenwoordig, vaak sneeuw en ijs en er werd bij gelegenheid volop geschaatst op de gracht rondom het complex. In de avond werd de ijsbaan soms door kaarsen verlicht.
Als gevolg van mijnschade – optredend na de mijnsluitingen – en zwakke funderingen raakte het kasteel beschadigd; naar verluid zou het hoofdgebouw ca. een meter gezakt zijn. De gevolgen werden vanaf de zeventiger jaren zichtbaar.
