乾隆七年（1742年），一位三十四岁的西藏传教喇嘛巴拉珠尔隆德布，辗转传教到了贝子旗。在额尔德尼敖包前原有的包恩坑（即土地庙）附近建了一座木制小庙，开始传播喇嘛教。当地牧民便称巴拉珠尔隆德布喇嘛为班迪（藏语为聪明之意）。
　　盛传，班迪为修建贝子庙选择庙址，曾在四个不同方向的山头前，插上箭头。一年后，春暖花开，位于西南方的宝拉根乌拉山前，开满了白花。班迪说：“白色代表财富，此方财源丰富，可以发财”。位于西北方的热宝拉格敖包前开满了兰花。班迪说：“蓝色代表兴旺，此方人畜两盛”。位于东南方的格义阿木山口，开满了红花。班迪说：“此地发展红都最好，但与我都不是一派”。唯独正北方向额尔德尼敖包前盛开着黄色。班迪说：“黄色象征吉祥，此方是发展黄教的象征，这是上天在喻示我众”。

　　这样便将建庙地点定在额尔德尼敖包前。