密勒日巴急了，马上回答：“是师父您亲自吩咐的呀！”
上师搔了搔头说：“哦？我怎么想不起来了？在这种坏风水的地方造三角形的房子，像修诛法的坛城，你这不是存心想害我吗？拆掉！拆掉！到北山给我建造一所四方形的房子，要9层，上面再建一个库房，总共10层。房子盖好了，我就传法给你！”
一席话下来，密勒日巴的辛苦又全部付诸流水。
就这样盖了又拆，拆了又盖，多少年的岁月在挑砖荷土中过去，累得身上的皮肉都烂了。师兄弟们看了很不忍心，自动跑来同心协力地帮他搬瓦、挑砖，师父看到了，依然大发雷霆：“我是叫你来建房子，并没有叫人帮忙盖，你怎么这么懒，随意找别人来帮忙呢？”
不但骂他，还拿棍子重重地打他，打得痛苦，难免哭出声，师父不但没有半句安慰的话，反而厉声喝斥：“你哭什么？你当初来的时候跟我说，你要把身、口、意全部奉献给我，我现在打的是我自己的东西，骂的也是我自己的东西，你哭什么？”
