《承德府志》记述：“双塔顶平宽可竟亩，东塔之巅有古庙，不详何人所建，已就倾圮，旁有小碑，镌王催二字 。”
翻遍史料，都没能找到有关双塔的历史朝代记载，也找不到建造者为何人 。
不过，文物工作者们经过多次实地考察，还是从一些蛛丝马迹中，找到了双塔的秘密 。
1966年，避暑山庄博物馆的馆长，从双塔山征集到一尊残石佛像 。纪晓岚的《阅微草堂笔记》中详细记载了这块佛像的来历 。
乾隆47年某夜，大雨倾盆，电闪雷鸣，双塔峰坠下一石佛，被距此不远的关帝庙住持悟真收藏，供奉于庙中 。
后来在抗日战争时期，这座关帝庙被毁，在原址上修建了双塔山发电站 。山上掉下的石佛像，被另一座小庙的和尚收藏供奉 。
（契丹人画像）
文革初期，在轰轰烈烈的破四旧运动中，这座小庙也被摧毁 。1966年，博物馆馆长在小庙旁的小沟里找到了被砸碎的佛像，从佛像的特征可以明显看出，这是辽代早期的遗物 。从而基本断定，这两座古塔修建于辽代 。
1976年唐山大地震时，峰顶上震落下来几块青砖 。
这些青砖有些呈长方形，长50厘米，宽25厘米 。有些呈正方形，边长35厘米 。通过比较，这些青砖背面都有六至七道粗沟纹，是典型的辽代砖，从而坐实了双峰上的古塔确实是辽代早期修建 。
那么，契丹人为何要劳民伤财地将佛塔修建在高高的山峰上呢？有专家推测，这是辽人修建的墓塔 。
众所周知，契丹人崇拜高山，他们将高山看作神山，认为人死后，就应该回归神山 。他们的一些皇陵和祖庙，都修建在所谓的神山上面，这和南方的“悬棺”有某种相通之处 。
契丹人在未建国之前，丧葬习俗十分奇怪 。他们不是像汉人一样，让死者入土为安，往往将死者“置于山树上，经三年后，乃收其骨而焚之”，这就是广为人知的契丹人的“树葬” 。
当契丹人看到如此雄伟陡峭又高耸的山峰时，肯定会对它万分崇敬，将墓塔修建在上面也就不足为奇了 。
（乾隆画像）
那么，能否在双塔中找到契丹人墓葬的证据呢？
据说在历史上，大名鼎鼎的乾隆帝曾上去过 。据《阅微草堂笔记》记载，乾隆55年，乾隆帝驻跸承德山庄，听闻双塔山上有灵芝 。于是命热河总管构木为梯，攀上双塔山，发现一峰上有一小屋，屋内有“一几一香炉”，香炉边上有一双草鞋，供桌上有一本旧书 。另一峰上“种韭二畦，塍畛方正如园圃之所筑，是决非人力之所到” 。
从上述记载可以看出，乾隆帝既没有在山上找到所谓的灵芝，也没有在古塔中发现契丹人墓葬的蛛丝马迹 。
那么，这样一座宏伟的工程，契丹人是如何完成的呢？
有人说，双塔山地区原来是一片汪洋大海，双塔山是露出海面的孤岛，人们坐着船攀到岛上，修建了双塔 。但这显然只能是传说，因为青砖的历史不过数千年，而承德地区是大海的时间，恐怕要追述到上亿年之前了 。
还有人说，双塔山原是一道石墙，在墓塔修好后，由于强烈的地震活动，石墙大部分崩塌了，只剩下两根孤零零的巨大石柱 。不过，如果是由于地震等变化导致石墙坍塌，那么，石柱上的双塔早就不存在了 。
最有可能的解释是，在修建双塔时，契丹人以两座石柱互为支点，在石柱间架设木梯盘旋而上，直到峰顶，将所有的材料从木梯上运上去 。
不过，这样的浩大工程，绝不是一般的平民百姓能够办到的 。因此，有人据此推测，双塔峰上埋葬的，应该是契丹皇族 。
河北双塔山上大下小，人都爬不上去，为何上面有两座古塔？在河北境内，有一座奇特，又名气特别高的山峰，这座山峰名字叫做“双塔山”可以说是目前承德市区内最为著名的自然风景了，之所以说山峰奇特，原因是因为它是有两根特别粗大的岩石柱子，组合在一起 。而且，这两座山峰，看起来似乎是拔地而起，并且两个并排紧紧地挨着 。仿佛，就像是双胞胎兄弟一样亲密 。山的地势看起来，则是“上大下小”，其形状就跟我们常见的宝塔差不多，给人一种头重脚轻的感觉 。
有一些喜欢看风景、或者是攀岩的游客，都会慕名来双塔山游玩，但是看到山不一样的地势，很多人都觉得非常害怕，仿佛那立柱似乎是承载不了身体的重量，一旦有可能塌陷，那将是一场灾难 。这双塔山就算是高手，都无法徒手登上去，可是很奇怪的是，山上居然矗立两座古塔，给我们一种很神秘的感觉 。
去过的游客介绍，根据北峰目测高度，大概有35米左右，长约有74米，其直径大概在15米左右 。而南峰这边的高度约有30米，直径大概有8米，长约有34米，这山峰如此之高，居然有两座看起来年代久远的古塔，只不过是因为时间的洗礼，这两座古塔，看起来有点沧桑 。这两座古塔居然还都是用青砖精心打造而成的，从远处看，能够看到方木，甚至墙角依稀可见风铃 。游客们看了之后都会纷纷表示惊讶，这塔人都无法爬上去，怎么建造的这让人神秘的古塔呢？至今是一个未解之谜 。