公元1281年，元军再次起兵十四万，兵分两路渡海攻日本。他们携带了三个月的军粮和锄头铁锹一类的农具，做好了长期占领和屯田的准备。这一次他们败得更惨。

元军先是爆发大规模瘟疫，接着再次遭遇大型台风。洪涛万丈如山涌起，各类战舰相互撞击尽皆粉碎。元军损失十万以上，海上浮尸随着潮汐进入河口，把水面堵得严严实实。

第二次东征日本失败，忽必烈为之震怒。但当他冷静之后，下令撤销日本行省和征东行省 。他对东征失败一直耿耿于怀，此后曾多次筹备策划，但终其一生再未对日本发动战争。

如东征失利源于大自然的伟力，南征失败则应归咎于水土不服。

公元1284年，元军攻打安南陈朝，虽然一度攻入安南都城，因瘟疫大发而撤军，被安南军队追击而死伤惨重。

元朝的西边和北边是自己的下属汗国，于是对东、南方向发动侵略战争，结果不是因为台风，就是因为瘟疫，东边打不动，南边也打不动。损兵折将不说，国库里的钱也已花光，朝廷不得不加重国内老百姓的赋役负担，由此引起社会动荡。尤其东征日本时，江南百姓被迫大幅增加徭役时间，他们不堪劳役相继爆发反元起义，成为让元朝统治者肉痛的尖刺。

忽必烈再次面临“介于石，据于蒺藜”的局面。

忽必烈第一次“介于石”的时候，以汉制、儒学为基础而登上大汗之位。然而这一次，汉制和儒学也救不了他，元朝来到由盛而衰的转折点。

忽必烈登基以后曾下诏兴修孔庙，但对衍圣公和孔氏子孙并没有特殊优待，甚至有人认为，孔氏子孙在忽必烈时期的待遇跌到了历史最低谷。

为稳定江南局势，忽必烈召孔子第五十二世嫡孙、宋末衍圣公孔洙朝见并授予官职。此时已于事无补，江南各地涌现小规模起义不下二百处。元军忙着四处镇压，不过按起葫芦浮起瓢，到公元1289年，起义数量增加至四百多处。

忽必烈此时已经垂垂老去，对朝政已逐渐力不从心。公元1294年正月，忽必烈病重驾崩，在位三十五年，庙号世祖。

忽必烈的孙子，元成宗孛儿只斤·铁穆耳（1265年10月-1307年2月）登基即位。