他回家后，在家乡出了名，大家都说他有魏征、诸葛孔明之才。
元统元年，公元1333年，二十三岁的刘伯温赴元朝京城大都参加会试，一举考中进士。只是，这时是元末，兵荒马乱，战火连连，所以，他只能在家闲居。
至元二年，公元1336年，刘伯温才被元朝政府授为江西高安县丞，协助县令处理政务。
他勤于职守，执法严明，很快就做出了政绩。
刘伯温深入乡间，体察民情，发现高安县一些豪绅地主勾结贪官污吏，无法无天，骗人钱财，夺人妻女，杀人害命无恶不作。
他倾听百姓的哭诉后，义愤填膺，决心为民除害。经过明察暗访，掌握了真凭实据后，对几个劣迹昭著的豪强恶霸，坚决予以严惩，并对县衙内贪赃枉法的官吏也进行了整治，高安县的社会风气很快就有了好转。
刘伯温的刚正不阿，一身正气，赢得了百姓的赞誉。
他在任官的五年内，处理地方事务的原则是“严而有惠爱”，能体恤民情，但不宽宥违法的行为；对于发奸摘伏，更是不避强权。因此受到当地百姓的爱戴，但因为他的正直，地方豪绅对他恨之入骨，总想找事端陷害他，幸得长官及部属信任他的为人，才免于祸患。
刘伯温看到官场的腐败后，当下辞官返回青田。
至正三年，公元1343年，朝廷征召他出任江浙儒副提举，兼任行省考试官。后来因检举监察御史职，得不到朝中大臣的支持，还给他许多责难，他只好上书辞职。
至正六年，公元1346年，刘伯温接受好友欧阳苏的邀请，与欧阳苏一同来到丹徒，在距欧阳苏家附近的蛟溪书屋住下，过了一段半隐居的生活。他以教授村里中的子弟读书来维持生活，偶尔和月忽难、陶凯等好友时相往还。
至正八年，公元1348年，刘伯温结束在丹徒约两年的半隐居生活，再度投入人群。他来到杭州居住，他的夫人为他生下一个儿子，即刘琏。
他在杭州的四年当中，和竹川上人、照玄上人等方外之士时相往来，也和刘显仁、郑士亭、熊文彦、月忽难等文士诗文相和。
至正十二年，公元1352年七月，徐寿辉攻陷杭州。
在攻陷杭州之前，刘伯温便带着家人回到故乡。
他回到故乡不久，朝廷来了一封公文。
朝廷起用他为江浙省元帅府都事，主要任务是帮助当地政府平定浙东一带的盗贼，特别以方国珍为对象。
元左丞帖里帖木儿欲招安方国珍，刘伯温认为方氏兄弟为首犯，不诛无以惩后。
方国珍重赂官府，终被招安，并授以官职，反而谴责刘伯温擅威福。
刘伯温一怒之下辞官还里，以表对元朝腐败昏聩之不满。
不久，山寇蜂拥而起，行省又召刘伯温前去剿捕，与行院判石抹宜孙一起驻守处州。
经略使李国凤将其功劳上奏，主持政事者因方氏之故压制刘伯温，授他为总管府判，却不让他掌握兵权。
刘伯温于是再次弃官归隐青田，著《郁离子》一书以明志。
这时，躲避方氏的人都纷纷投靠刘伯温。
刘伯温稍做部署，贼寇便不敢来犯。
这时的刘伯温，实际上，还没有成为能掐善算的刘伯温，还是一个忠于国家的刘伯温。只是，腐败的元朝，令他大感失望。同时，开始怀疑自己该不该忠心于这样的朝廷了！