忽必烈正是听信了廉希宪的建议，并在其辅佐下才得以战胜了阿里不哥，夺得了帝位。而忽必烈登基之后，便立刻升任廉希宪为平章政事，两年后，廉希宪又担任中书平章政事，主持朝廷政务。
志元七年（1270年），廉希宪因释放了被诬陷的尼赞马丁而惹恼了忽必烈，而后者更是在盛怒之下罢了廉希宪的官。但是，没过多久，忽必烈就后悔了。当他向身边的侍臣询问廉希宪在干什么时，侍臣告诉他说廉希宪正在家闭门读书。忽必烈听后感叹道：“朕之前确实曾大力倡导过读书这件事，但若只知读书而不知道应用，那还不如不读。”一向与廉希宪不合的阿合妈听到忽必烈此言后，便想趁机陷害廉希宪，赶紧说道：“他根本就没有读书，而是整天忙于吃喝玩乐！”
忽必烈听后大怒道：“胡说！希宪为官清贫廉洁，这是人人皆知的事实，他哪里有钱用在吃喝玩乐上？”不久之后，忽必烈就再次起用廉希宪，并任命他为京兆宣抚使，镇抚辽东地区。
后来，廉希宪又受命到新平定的江陵去做太守。他在到达江陵后，先是下令禁止所有劫掠百姓的行为，接着又到处安抚慌乱的商人，让他们照常营业。在他的协调下，军民之间相安无事，官吏各司其职。为了能够更好地治理这些新收之地，他还启用了一大批原来的南宋官员，并根据他们的才能授予其官职，没有一点猜疑之心。待当地秩序稳定下来之后，廉希宪又大力兴办学堂，并亲自授课，使得当地很快就出现了勃勃的生机，就连身处西南地区的少数民族首领和部分宋将都闻风来降。