Byggnaden som Aspenäs café är inrymd i har tidigare tillhört Aspenäs Herrgård, som har anor från 1500-talet. Vid cafét låg tidigare ett flertal stallbyggnader och andra byggnader som innehöll herrgårdens djur. Dessa byggnader försvann vid en stor eldsvåda 1969.
I cafébyggnaden har det tidigare varit svinahus och sedan stall. Man kan fortfarande se spåren efter hästarna i form av bitmärken på träpelarna inne i cafét.
Efter ett omfattande renoveringsarbete öppnade Aspenäs Café 2008.