1970年7月，驻晋某部闫副军长陪同北京军区马副参谋长，率领数十名随从人员，浩浩荡荡来到五台山。当晚，首长将我叫去说：“北京军区准备在五台山修建部队疗养院，你看什么寺庙附近风景优美、环境幽静，明天领我们看看。”翌日，我陪同看了几个寺庙，首长们对五郎庙、金刚窟这两个庙兴趣很大。
　　我们只能眼巴巴地看着两座唐代始建，明、清重建的寺庙，在爆炸声中变成废墟。紧接着，工程兵和汽车队也来了，还有数十名地方工程技术人员。顿时，这块佛教净土，一下变成了人山人海的大军营、大工地。
　　直到“九一三”事件后，部队陆续撤走了，一切才真相大白，原来是林彪要在这里为自己新建“别墅”。1970年6月4日，叶群召见北京军区和总后勤部的领导时说：“林副统帅想在五台山休息几天，你们给他修个草房房。”故工程代号即定为“七六四”工程。据说，林彪对“别墅”定了三个要求：一是有房顶不能有压顶的感觉；二是有光不能有灯的感觉；三是有风不能有风的感觉。
　　工程造价之高，也令人吃惊。据说每平方米造价是700元，而当时普通楼房每平方米造价是100元。据《文史月刊》