漢武帝元豐元年（前110年）司馬談去世，臨終曾對(duì)司馬遷說(shuō)：“余死，汝必為太史；為太史，無(wú)忘吾所欲論著矣?！彼抉R遷俯首流涕，向父親表示：“小子不敏，請(qǐng)悉論先人所次舊聞，弗敢闕?！保ā短饭孕颉罚┤曛?，司馬遷承襲父職，任太史令，就在“金匱石室”閱讀皇家藏書(shū)，搜集歷史資料，準(zhǔn)備撰寫(xiě)一部通史。漢武帝太初元年（前104年），司馬遷與唐都、落下閎等共同定立了“太初歷”，該歷法改變了秦代使用的顓頊歷以十月為歲首的習(xí)慣，而改以正月為歲首，從而，為中國(guó)的農(nóng)耕社會(huì)奠定了其后兩千年來(lái)所尊奉的歷法基礎(chǔ)。之后司馬遷便潛心修史，專(zhuān)心寫(xiě)作，開(kāi)始了《史記》的寫(xiě)作。

天漢二年（公元前99年），正當(dāng)司馬遷全身心地撰寫(xiě)史記之時(shí)，卻遇上了飛來(lái)橫禍，這就是李陵事件。

當(dāng)時(shí)，李陵兵敗的消息傳到長(zhǎng)安后，武帝本希望他能戰(zhàn)死，后聽(tīng)說(shuō)他卻投了降，憤怒萬(wàn)分，滿(mǎn)朝文武官員察言觀色，趨炎附勢(shì)，幾天前還紛紛稱(chēng)贊李陵的英勇，卻附和漢武帝，指責(zé)李陵的罪過(guò)。

漢武帝詢(xún)問(wèn)太史令司馬遷的看法，司馬遷一方面安慰武帝，一方面也痛恨那些見(jiàn)風(fēng)使舵的大臣，盡力為李陵辯護(hù)。

他認(rèn)為李陵平時(shí)孝順母親，對(duì)朋友講信義，對(duì)人謙虛禮讓?zhuān)瑢?duì)士兵有恩信，常常奮不顧身地急國(guó)家之所急，有國(guó)士的風(fēng)范。

司馬遷痛恨那些只知道保全自己和家人的大臣，他們?nèi)缃褚?jiàn)李陵出兵不利，就一味地落井下石，夸大其罪名。

司馬遷對(duì)漢武帝盛言：“李陵只率領(lǐng)五千步兵，深入匈奴，孤軍奮戰(zhàn)，殺傷了許多敵人，立下了赫赫功勞。在救兵不至、彈盡糧絕、走投無(wú)路的情況下，仍然奮勇殺敵。就是古代名將也不過(guò)如此。李陵自己雖陷于失敗之中，而他殺傷匈奴之多，也足以顯赫于天下了。他之所以不死，而是投降了匈奴，一定是想尋找適當(dāng)?shù)臋C(jī)會(huì)再報(bào)答漢室”。

司馬遷的意思似乎是二師將軍李廣利沒(méi)有盡到他的責(zé)任。他的直言觸怒了漢武帝，漢武帝認(rèn)為他是在為李陵辯護(hù)，諷刺勞師遠(yuǎn)征、戰(zhàn)敗而歸的李廣利，于是下令將司馬遷打入大牢。

司馬遷在獄中，受盡酷吏的折磨，并受了宮刑（執(zhí)刑人用刀子剜掉受刑男子的睪丸，對(duì)受刑女子同樣是破壞其生殖機(jī)能。）。獄中生活使他對(duì)封建統(tǒng)治階級(jí)的本質(zhì)有了進(jìn)一步的認(rèn)識(shí)。他在獄中，曾一度想“引決自裁”，但一想到《史記》“草創(chuàng)未就”，便“就極刑而無(wú)慍色”（《報(bào)任安書(shū)》），決心“隱忍茍活”以完成自己的著述。他在《報(bào)任安書(shū)》中說(shuō)：“蓋西伯拘而演《周易》；仲尼厄而作《春秋》；屈原放逐，乃賦《離騷》；左丘失明，厥有《國(guó)語(yǔ)》；孫子臏腳，《兵法》修列；不韋遷蜀，世傳《呂覽》；韓非囚秦，《說(shuō)難》《孤憤》；《詩(shī)》三百篇，大抵圣賢發(fā)憤之所為作也?！彼抉R遷在“無(wú)以為人”的處境下，終于基本上完成了《史記》的寫(xiě)作。

他以其“究天人之際，通古今之變，成一家之言”的史識(shí)創(chuàng)作了中國(guó)第一部紀(jì)傳體通史《史記》，原名《太史公書(shū)》，司馬遷死后才得以問(wèn)世。《史記》被公認(rèn)為是中國(guó)史書(shū)的典范，該書(shū)記載了從上古傳說(shuō)中的黃帝時(shí)期，到漢武帝元狩元年，長(zhǎng)達(dá)3000多年的歷史，是“二十五史”之首，被魯迅譽(yù)為“史家之絕唱，無(wú)韻之離騷”。

司馬遷的著作，除《史記》外，《漢書(shū)·藝文志》還著錄賦八篇，均已散失，唯《藝文類(lèi)聚》卷30引征《悲士不遇賦》的片段和有名的《報(bào)任安書(shū)》（即《報(bào)任少卿書(shū)》）。《報(bào)任安書(shū)》表白了他為了完成自己的著述而決心忍辱含垢的痛苦心情，是研究司馬遷生平思想的重要資料，也是一篇飽含感情的杰出散文?！侗坎挥鲑x》也是晚年的作品，抒發(fā)了作者受腐刑后和不甘于“沒(méi)世無(wú)聞”的憤激情緒。