汉元帝虽然是天子，但实际权力掌握在宦官石显手中。

汉元帝的想法，作为封建社会的皇帝，只能说太过于幼稚了。

石显不仅与宫廷内的太监结成內患，还与契丹等外戚势力勾结，并在朝中结盟了许多有风气的儒臣。

这也让汉朝的内部和外部都变得乌烟瘴气，汉元帝的权利被进一步削弱，京房曾告诫人们不要轻信宦官，但元帝对此一无所知，还毫无作为，这也让石显的权利更大，曾经发布对他们不利言论的京房也被驱逐，后来直接被处死。

石显虽然擅长权术，但缺乏治国才能，只顾自己的利益，使国家陷入瘴气之中。

总而言之，元帝之所以被认为导致了西汉的没落，是因为元帝在当政期间，赋予了宦官和外戚很大的权力，使他们的影响力减弱。

而且，由于这种权力的转移，民间的百姓生活困苦，再加上那段时期天灾频发，汉朝走向下坡路也在情理之中。

在人治时代，并立的制度和法则并不是国家强盛或衰退的原因。身处高位的皇帝才是决定一切的源头。

加入皇帝没有把他父皇留下来的忠臣杀害，没有宠信奸佞的宦官，如果元帝对儒学纸上谈兵，汉朝可能是另一种走向。