playbooks/summarize_long_text.ipynb

{
 "cells": [
  {
   "attachments": {},
   "cell_type": "markdown",
   "id": "eb8d379a-05cb-4b5d-909c-402376ec9402",
   "metadata": {},
   "source": [
    "# 为超过Token长度限制的文本创建摘要\n",
    "\n",
    "OpenAI 的 GPT 模型在同一个上下文里能够处理的消息[上限是 4096 个 token][1]。在很多场景下我们都需要处理超过 4096 个 token 的文本，譬如文章、书籍、电影字幕等。当然我们总是有 token 容量更大的选择，譬如 GPT-4 32K；但是既然存在上限，那么就总有超限的时候。为了处理这种情况，我们采取逐步压缩的方案。\n",
    "\n",
    "## 思路\n",
    "\n",
    "1. 将要处理的文本分段，每一段不超过 token 上限。\n",
    "2. 将每一段文本分别生成摘要，并存储摘要后的内容。\n",
    "3. 处理完所有分段后，汇总摘要后的文本，如果文本总量仍然超限，那么重复步骤 1 和 2。\n",
    "4. 如果摘要后的文本已经不再超限，那么直接生成最终摘要。\n",
    "\n",
    "需要注意的是，这样的处理方法会导致信息丢失。\n",
    "\n",
    "[1]: https://platform.openai.com/docs/models/gpt-3-5"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "42609dd8-61ad-466d-8196-a58e12f896e7",
   "metadata": {},
   "outputs": [],
   "source": [
    "import os\n",
    "import openai\n",
    "import tiktoken\n",
    "\n",
    "GPT_MODEL = 'gpt-3.5-turbo'\n",
    "MAX_TOKENS = 3000\n",
    "\n",
    "openai.api_key = os.getenv('OPENAI_API_KEY')\n",
    "openai.api_base = os.getenv('OPENAI_API_BASE')\n",
    "\n",
    "def num_tokens(text: str, model: str = GPT_MODEL) -> int:\n",
    "    encoding = tiktoken.encoding_for_model(model)\n",
    "    return len(encoding.encode(text))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "da6da335-75ac-469e-b43b-254eb1ccd827",
   "metadata": {},
   "source": [
    "## 准备要处理的文本\n",
    "\n",
    "这里我们直接硬编码三国演义的第一回，然后用上面定义的 `num_tokens` 函数来计算 token 数量。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "54bb316c-cd79-454e-a522-a3b9489a6882",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "7411\n"
     ]
    }
   ],
   "source": [
    "# 三国演义第一回，复制粘贴自维基文库：https://zh.wikisource.org/wiki/%E4%B8%89%E5%9C%8B%E6%BC%94%E7%BE%A9/%E7%AC%AC001%E5%9B%9E\n",
    "long_text = '''第一回　宴桃園豪傑三結義　斬黃巾英雄首立功\n",
    "\n",
    "　　詞曰：\n",
    "\n",
    "滾滾長江東逝水，浪花淘盡英雄。\n",
    "是非成敗轉頭空：青山依舊在，幾度夕陽紅。\n",
    "白髮漁樵江渚上，慣看秋月春風。\n",
    "一壺濁酒喜相逢：古今多少事，都付笑談中。\n",
    "　　話說天下大勢，分久必合，合久必分。周末七國分爭，併入於秦。及秦滅之後，楚、漢分爭，又併入於漢。漢朝自高祖斬白蛇而起義，一統天下。後來光武中興，傳至獻帝，遂分為三國。推其致亂之由，殆始於桓、靈二帝。桓帝禁錮善類，崇信宦官。及桓帝崩，靈帝即位，大將軍竇武、太傅陳蕃，共相輔佐。時有宦官曹節等弄權，竇武、陳蕃謀誅之，作事不密，反為所害，中涓自此愈橫。\n",
    "\n",
    "　　建寧二年四月望日，帝御溫德殿。方陞座，殿角狂風驟起，只見一條大青蛇，從梁上飛將下來，蟠於椅上。帝驚倒，左右急救入宮，百官俱奔避。須臾，蛇不見了。忽然大雷大雨，加以冰雹，落到半夜方止，壞卻房屋無數。建寧四年二月，洛陽地震；又海水泛濫，沿海居民，盡被大浪捲入海中。光和元年，雌雞化雄。六月朔，黑氣十餘丈，飛入溫德殿中。秋七月，有虹現於玉堂，五原山岸，盡皆崩裂。種種不祥，非止一端。帝下詔問群臣以災異之由，議郎蔡邕上疏，以為霓墮雞化，乃婦寺干政之所致，言頗切直。帝覽奏嘆息，因起更衣。曹節在後竊視，悉宣告左右，遂以他事陷邕於罪，放歸田里。後張讓、趙忠、封諝、段圭、曹節、侯覽、蹇碩、程曠、夏惲、郭勝十人朋比為奸，號為「十常侍」。帝尊信張讓，呼為「阿父」。朝政日非，以致天下人心思亂，盜賊蜂起。\n",
    "\n",
    "　　時鉅鹿郡有兄弟三人：一名張角，一名張寶，一名張梁。那張角本是個不第秀才，因入山採藥，遇一老人，碧眼童顏，手執藜杖，喚角至一洞中，以天書三卷授之，曰：「此名太平要術。汝得之，當代天宣化，普救世人。若萌異心，必獲惡報。」角拜問姓名。老人曰：「吾乃南華老仙也。」言訖，化陣清風而去。角得此書，曉夜功習，能呼風喚雨，號為「太平道人」。中平元年正月內，疫氣流行，張角散施符水，為人治病，自稱「大賢良師」。角有徒弟五百餘人，雲游四方，皆能書符念咒。次後徒眾日多，角乃立三十六方，大方萬餘人，小方六七千，各立渠帥，稱為將軍；訛言：「蒼天已死，黃天當立；歲在甲子，天下大吉。」令人各以白土，書「甲子」二字於家中大門上。青、幽、徐、冀、荊、揚、兗、豫八州之人，家家侍奉大賢良師張角名字。角遣其黨馬元義，暗齎金帛，結交中涓封胥，以為內應。角與二弟商議曰：「至難得者，民心也。今民心已順，若不乘勢取天下，誠為可惜。」遂一面私造黃旗，約期舉事；一面使弟子唐周，持書報封諝。唐周乃徑赴省中告變。帝召大將軍何進調兵擒馬元義，斬之；次收封諝等一干人下獄。張角聞知事露，星夜舉兵，自稱「天公將軍」，張寶稱「地公將軍」，張梁稱「人公將軍」；申言於眾曰：「今漢運將終，大聖人出。汝等皆宜順天從正，以樂太平。」四方百姓，裹黃巾從張角反者四五十萬。賊勢浩大，官軍望風而靡。何進奏帝火速降詔，令各處備禦，討賊立功；一面遣中郎將盧植、皇甫嵩、朱雋，各引精兵，分三路討之。\n",
    "\n",
    "　　且說張角一軍，前犯幽州界分。幽州太守劉焉，乃江夏竟陵人氏，漢魯恭王之後也；當時聞得賊兵將至，召校尉鄒靖計議。靖曰：「賊兵眾，我兵寡，明公宜作速招軍應敵。」劉焉然其說，隨即出榜招募義兵。榜文行到涿縣，引出涿縣中一個英雄。那人不甚好讀書；性寬和，寡言語，喜怒不言於色；素有大志，專好結交天下豪傑；生得身長七尺五寸，兩耳垂肩，雙手過膝，目能自顧其耳，面如冠玉，唇如塗脂；中山靖王劉勝之後，漢景帝閣下玄孫：姓劉，名備，字玄德。昔劉勝之子劉貞，漢武時封涿鹿亭侯，後坐酌金失侯，因此遺這一支在涿縣。玄德祖劉雄，父劉弘。弘曾舉孝廉，亦嘗作吏，早喪。玄德孤幼，事母至孝；家貧，販屨織席為業。家住本縣樓桑村。其家之東南，有一大桑樹，高五丈餘，遙望之，童童如車蓋。相者云：「此家必出貴人。」玄德幼時，與鄉中小兒戲於樹下，曰：「我為天子，當乘此車蓋。」叔父劉元起奇其言，曰：「此兒非常人也！」因見玄德家貧，常資給之。年十五歲，母使游學，嘗師事鄭玄、盧植，與公孫瓚等為友。及劉焉發榜招軍時，玄德年已二十八歲矣。\n",
    "\n",
    "　　當日見了榜文，慨然長嘆。隨後一人厲聲言曰：「大丈夫不與國家出力，何故長嘆？」玄德回視其人：身長八尺，豹頭環眼，燕頷虎鬚，聲若巨雷，勢如奔馬。玄德見他形貌異常，問其姓名。其人曰：「某姓張，名飛，字翼德。世居涿郡，頗有莊田，賣酒屠豬，專好結交天下豪傑。適纔見公看榜而嘆，故此相問。」玄德曰：「我本漢室宗親，姓劉，名備。今聞黃巾倡亂，有志欲破賊安民；恨力不能，故長嘆耳。」飛曰：「吾頗有資財，當招募鄉勇，與公同舉大事，如何？」玄德甚喜，遂與同入村店中飲酒。正飲間，見一大漢，推著一輛車子，到店門首歇了；入店坐下，便喚酒保：「快斟酒來吃，我待趕入城去投軍。」玄德看其人：身長九尺，髯長二尺；面如重棗，唇如塗脂；丹鳳眼，臥蠶眉：相貌堂堂，威風凜凜。玄德就邀他同坐，叩其姓名。其人曰：「吾姓關，名羽，字長生，後改雲長，河東解良人也。因本處勢豪，倚勢凌人，被吾殺了；逃難江湖，五六年矣。今聞此處招軍破賊，特來應募。」玄德遂以己志告之。雲長大喜。同到張飛莊上，共議大事。\n",
    "\n",
    "　　飛曰：「吾莊後有一桃園，花開正盛；明日當於園中祭告天地，我三人結為兄弟，協力同心，然後可圖大事。」玄德、雲長齊聲應曰：「如此甚好。」次日，於桃園中，備下烏牛白馬祭禮等項，三人焚香再拜而說誓曰：「念劉備、關羽、張飛，雖然異姓，既結為兄弟，則同心協力，救困扶危；上報國家，下安黎庶；不求同年同月同日生，只願同年同月同日死。皇天后土，實鑒此心。背義忘恩，天人共戮！」誓畢，拜玄德為兄，關羽次之，張飛為弟。祭罷天地，復宰牛設酒，聚鄉中勇士，得三百餘人，就桃園中痛飲一醉。來日收拾軍器，但恨無馬匹可乘。正思慮間，人報有兩個客人，引一夥伴儅，趕一群馬，投莊上來。玄德曰：「此天佑我也！」三人出莊迎接。原來二客乃中山大商：一名張世平，一名蘇雙，每年往北販馬，近因寇發而回。玄德請二人到莊，置酒管待，訴說欲討賊安民之意。二客大喜，願將良馬五十匹相送；又贈金銀五百兩，鑌鐵一千斤，以資器用。玄德謝別二客，便命良匠打造雙股劍。雲長造青龍偃月刀，又名「冷艷鋸」，重八十二斤。張飛造丈八點鋼矛。各置全身鎧甲。共聚鄉勇五百餘人，來見鄒靖。鄒靖引見太守劉焉。三人參見畢，各通姓名。玄德說起宗派，劉焉大喜，遂認玄德為侄。\n",
    "\n",
    "　　不數日，人報黃巾賊將程遠志統兵五萬來犯涿郡。劉焉令鄒靖引玄德等三人，統兵五百，前去破敵。玄德等欣然領軍前進，直至大興山下，與賊相見。賊眾皆披髮，以黃巾抹額。當下兩軍相對，玄德出馬，左有雲長，右有翼德，揚鞭大罵：「反國逆賊，何不早降！」程遠志大怒，遣副將鄧茂出戰。張飛挺丈八蛇矛直出，手起處，刺中鄧茂心窩，翻身落馬。程遠志見折了鄧茂，拍馬舞刀，直取張飛。雲長舞動大刀，縱馬飛迎。程遠志見了，早吃一驚，措手不及，被雲長刀起處，揮為兩段。後人有詩讚二人曰：\n",
    "\n",
    "英雄露穎在今朝，一試矛兮一試刀。\n",
    "初出便將威力展，三分好把姓名標。\n",
    "\n",
    "　　眾賊見程遠志被斬，皆倒戈而走。玄德揮軍追趕，投降者不計其數，大勝而回。劉焉親自迎接，賞勞軍士。次日，接得青州太守龔景牒文，言黃巾賊圍城將陷，乞賜救援。劉焉與玄德商議。玄德曰：「備願往救之。」劉焉令鄒靖將兵五千，同玄德、關、張，投青州來。賊眾見救兵至，分兵混戰。玄德兵寡不勝，退三十里下寨。玄德謂關、張曰：「賊眾我寡；必出奇兵，方可取勝。」乃分關公引一千軍伏山左，張飛引一千軍伏山右，鳴金為號，齊出接應。次日，玄德與鄒靖引軍鼓噪而進。賊眾迎戰，玄德引軍便退。賊眾乘勢追趕，方過山嶺，玄德軍中一齊鳴金，左右兩軍齊出，玄德麾軍回身復殺。三路夾攻，賊眾大潰。直趕至青州城下，太守龔景亦率民兵出城助戰。賊勢大敗，剿戮極多，遂解青州之圍。後人有詩讚玄德曰：\n",
    "\n",
    "運籌決算有神功，二虎還須遜一龍。\n",
    "初出便能垂偉績，自應分鼎在孤窮。\n",
    "\n",
    "　　龔景犒軍畢，鄒靖欲回。玄德曰：「近聞中郎將盧植與賊首張角戰於廣宗，備昔曾師事盧植，欲往助之。」於是鄒靖引軍自回，玄德與關、張引本部五百人投廣宗來。至盧植軍中，入帳施禮，具道來意。盧植大喜，留在帳前聽調。\n",
    "\n",
    "　　時張角賊眾十五萬，植兵五萬，相拒於廣宗，未見勝負。植謂玄德曰：「我今圍賊在此，賊弟張梁、張寶在潁川，與皇甫嵩、朱雋對壘。汝可引本部人馬，我更助汝一千官軍，前去潁川打探消息，約期剿捕。」玄德領命，引軍星夜投潁川來。時皇甫嵩、朱儁領軍拒賊，賊戰不利，退入長社，依草結營。嵩與儁計曰：「賊依草結營，當用火攻之。」遂令軍士，每人束草一把，暗地埋伏。其夜大風忽起。二更以後，一齊縱火，嵩與儁各引兵攻擊賊寨，火焰張天，賊眾驚慌，馬不及鞍，人不及甲，四散奔走。\n",
    "\n",
    "　　殺到天明，張梁、張寶引敗殘軍士，奪路而走。忽見一彪軍馬，盡打紅旗，當頭來到，截住去路。為首閃出一將：身長七尺，細眼長髯；官拜騎都尉；沛國譙郡人也，姓曹，名操，字孟德。操父曹嵩，本姓夏侯氏；因為中常侍曹騰之養子，故冒姓曹。曹嵩生操，小字阿瞞，一名吉利。操幼時，好游獵，喜歌舞；有權謀，多機變。操有叔父，見操游蕩無度，嘗怒之，言於曹嵩。嵩責操。操忽心生一計：見叔父來，詐倒於地，作中風之狀。叔父驚告嵩，嵩急視之，操故無恙。嵩曰：「叔言汝中風，今已愈乎？」操曰：「兒自來無此病；因失愛於叔父，故見罔耳。」嵩信其言。後叔父但言操過，嵩並不聽。因此，操得恣意放蕩。時人有橋玄者，謂操曰：「天下將亂，非命世之才不能濟。能安之者，其在君乎？」南陽何颙見操，言：「漢室將亡，安天下者，必此人也。」汝南許劭，有知人之名。操往見之，問曰：「我何如人？」劭不答。又問，劭曰：「子治世之能臣，亂世之奸雄也。」操聞言大喜。年二十，舉孝廉，為郎，除洛陽北都尉。初到任，即設五色棒十餘條於縣之四門，有犯禁者，不避富豪，皆責之。中常侍蹇碩之叔，提刀夜行，操巡夜拿住，就棒責之。由是，內外莫敢犯者，威名頗震。後為頓丘令。因黃巾起，拜為騎都尉，引馬步軍五千，前來潁川助戰。正值張梁、張寶敗走，曹操攔住，大殺一陣，斬首萬餘級，奪得旗旌、金鼓、馬匹極多。張梁、張寶死戰得脫。操見過皇甫嵩、朱儁，隨即引兵追襲張梁、張寶去了。\n",
    "\n",
    "　　卻說玄德引關、張來潁川，聽得喊殺之聲，又望見火光燭天，急引兵來時，賊已敗散。玄德見皇甫嵩、朱儁，具道盧植之意。嵩曰：「張梁、張寶勢窮力乏，必投廣宗去依張角。玄德可即星夜往助。」玄德領命，遂引兵復回。到得半路，只見一簇軍馬，護送一輛檻車；車中之囚，乃盧植也。玄德大驚，滾鞍下馬，問其緣故。植曰：「我圍張角，將次可破；因角用妖術，未能即勝。朝廷差黃門左豐前來體探，問我索取賄賂。我答曰：『軍糧尚缺，安有餘錢奉承天使？』左豐挾恨，回奏朝廷，說我高壘不戰，惰慢軍心；因此朝廷震怒，遣中郎將董卓來代將我兵，取我回京問罪。」張飛聽罷，大怒，要斬護送軍人，以救盧植。玄德急止之曰：「朝廷自有公論，汝豈可造次？」軍士簇擁盧植去了。\n",
    "\n",
    "　　關公曰：「盧中郎已被逮，別人領兵，我等去無所依，不如且回涿郡。」玄德從其言，遂引軍北行。行無二日，忽聞山後喊聲大震。玄德引關、張縱馬上高岡望之，見漢軍大敗，後面漫山塞野，黃巾蓋地而來，旗上大書「天公將軍」。玄德曰：「此張角也！可速戰。」三人飛馬引軍而出。張角正殺敗董卓，乘勢趕來，忽遇三人衝殺，角軍大亂，敗走五十餘里。三人救了董卓回寨。卓問三人現居何職。玄德曰：「白身。」卓甚輕之，不為禮。玄德出，張飛大怒曰：「我等親赴血戰，救了這廝，他卻如此無禮！若不殺他，難消我氣！」便要提刀入帳來殺董卓。正是：\n",
    "\n",
    "人情勢利古猶今，誰識英雄是白身？\n",
    "安得快人如翼德，盡誅世上負心人！\n",
    "畢竟董卓性命如何，且聽下文分解。\n",
    "'''\n",
    "\n",
    "print(num_tokens(long_text))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ca5837c3-a217-4141-a52c-e8f7fc089286",
   "metadata": {},
   "source": [
    "可以看到，三国演义的第一回有 7411 个 token，直接发送给 GPT 会导致长度超限，返回错误。我们来尝试一下："
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "0aa133ae-0aa7-4c89-b620-b6a8c312ba4e",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "This model's maximum context length is 4097 tokens. However, your messages resulted in 7435 tokens. Please reduce the length of the messages.\n"
     ]
    }
   ],
   "source": [
    "try:\n",
    "    response = openai.ChatCompletion.create(\n",
    "        messages=[{'role':'system', 'content':'为用户提供的文本生成摘要'},\n",
    "                  {'role': 'user', 'content': long_text}],\n",
    "        model=GPT_MODEL,\n",
    "    )\n",
    "except Exception as error:\n",
    "    print(error)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5e4fe960-954a-4892-9974-bd9042451bf1",
   "metadata": {},
   "source": [
    "> 注意到返回的信息里提示我们的消息有 7435 个 tokens，这是因为系统消息也会占用 tokens。在分割字符串的时候，也要考虑这个问题。这里我们直接硬编码解决。\n",
    "\n",
    "现在我们来定义一个函数，将文章拆分成 token 更小的段落。\n",
    "\n",
    "1. 将 long_text 按照换行符拆分成一个列表，这是为了尽量保持语义完整。\n",
    "2. 对于列表中的每一项，首先检查其 token 数量：\n",
    "   - 如果 token 数量超过了 max_tokens，则将其直接拆分成每一项不超过 max_token 的字符串列表，然后添加到 results；\n",
    "   - 如果长度没有超过 max_tokens，则直接添加到 results。\n",
    "3. 返回 results。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "806012e0-45eb-4a66-a7f6-b96c3524ceef",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['第一回\\u3000宴桃園豪傑三結義\\u3000斬黃巾英雄首立功',\n",
       " '\\u3000\\u3000詞曰：',\n",
       " '滾滾長江東逝水，浪花淘盡英雄。',\n",
       " '是非成敗轉頭空：青山依舊在，幾度夕陽紅。',\n",
       " '白髮漁樵江渚上，慣看秋月春風。',\n",
       " '一壺濁酒喜相逢：古今多少事，都付笑談中。',\n",
       " '\\u3000\\u3000話說天下大勢，分久必合，合久必分。周末七國分爭，併入於秦。及秦滅之後，楚、漢分爭，又併入於漢。漢朝自高祖斬白蛇而起義，一統天下。後來光武中興，傳至獻帝，遂分為三國。推其致亂之由，殆始於桓、靈二帝。桓帝禁錮善類，崇信宦官。及桓帝崩，靈帝即位，大將軍竇武、太傅陳蕃，共相輔佐。時有宦官曹節等弄權，竇武、陳蕃謀誅之，作事不密，反為所害，中涓自此愈橫。',\n",
       " '\\u3000\\u3000建寧二年四月望日，帝御溫德殿。方陞座，殿角狂風驟起，只見一條大青蛇，從梁上飛將下來，蟠於椅上。帝驚倒，左右急救入宮，百官俱奔避。須臾，蛇不見了。忽然大雷大雨，加以冰雹，落到半夜方止，壞卻房屋無數。建寧四年二月，洛陽地震；又海水泛濫，沿海居民，盡被大浪捲入海中。光和元年，雌雞化雄。六月朔，黑氣十餘丈，飛入溫德殿中。秋七月，有虹現於玉堂，五原山岸，盡皆崩裂。種種不祥，非止一端。帝下詔問群臣以災異之由，議郎蔡邕上疏，以為霓墮雞化，乃婦寺干政之所致，言頗切直。帝覽奏嘆息，因起更衣。曹節在後竊視，悉宣告左右，遂以他事陷邕於罪，放歸田里。後張讓、趙忠、封諝、段圭、曹節、侯覽、蹇碩、程曠、夏惲、郭勝十人朋比為奸，號為「十常侍」。帝尊信張讓，呼為「阿父」。朝政日非，以致天下人心思亂，盜賊蜂起。',\n",
       " '\\u3000\\u3000時鉅鹿郡有兄弟三人：一名張角，一名張寶，一名張梁。那張角本是個不第秀才，因入山採藥，遇一老人，碧眼童顏，手執藜杖，喚角至一洞中，以天書三卷授之，曰：「此名太平要術。汝得之，當代天宣化，普救世人。若萌異心，必獲惡報。」角拜問姓名。老人曰：「吾乃南華老仙也。」言訖，化陣清風而去。角得此書，曉夜功習，能呼風喚雨，號為「太平道人」。中平元年正月內，疫氣流行，張角散施符水，為人治病，自稱「大賢良師」。角有徒弟五百餘人，雲游四方，皆能書符念咒。次後徒眾日多，角乃立三十六方，大方萬餘人，小方六七千，各立渠帥，稱為將軍；訛言：「蒼天已死，黃天當立；歲在甲子，天下大吉。」令人各以白土，書「甲子」二字於家中大門上。青、幽、徐、冀、荊、揚、兗、豫八州之人，家家侍奉大賢良師張角名字。角遣其黨馬元義，暗齎金帛，結交中涓封胥，以為內應。角與二弟商議曰：「至難得者，民心也。今民心已順，若不乘勢取天下，誠為可惜。」遂一面私造黃旗，約期舉事；一面使弟子唐周，持書報封諝。唐周乃徑赴省中告變。帝召大將軍何進調兵擒馬元義，斬之；次收封諝等一干人下獄。張角聞知事露，星夜舉兵，自稱「天公將軍」，張寶稱「地公將軍」，張梁稱「人公將軍」；申言於眾曰：「今漢運將終，大聖人出。汝等皆宜順天從正，以樂太平。」四方百姓，裹黃巾從張角反者四五十萬。賊勢浩大，官軍望風而靡。何進奏帝火速降詔，令各處備禦，討賊立功；一面遣中郎將盧植、皇甫嵩、朱雋，各引精兵，分三路討之。',\n",
       " '\\u3000\\u3000且說張角一軍，前犯幽州界分。幽州太守劉焉，乃江夏竟陵人氏，漢魯恭王之後也；當時聞得賊兵將至，召校尉鄒靖計議。靖曰：「賊兵眾，我兵寡，明公宜作速招軍應敵。」劉焉然其說，隨即出榜招募義兵。榜文行到涿縣，引出涿縣中一個英雄。那人不甚好讀書；性寬和，寡言語，喜怒不言於色；素有大志，專好結交天下豪傑；生得身長七尺五寸，兩耳垂肩，雙手過膝，目能自顧其耳，面如冠玉，唇如塗脂；中山靖王劉勝之後，漢景帝閣下玄孫：姓劉，名備，字玄德。昔劉勝之子劉貞，漢武時封涿鹿亭侯，後坐酌金失侯，因此遺這一支在涿縣。玄德祖劉雄，父劉弘。弘曾舉孝廉，亦嘗作吏，早喪。玄德孤幼，事母至孝；家貧，販屨織席為業。家住本縣樓桑村。其家之東南，有一大桑樹，高五丈餘，遙望之，童童如車蓋。相者云：「此家必出貴人。」玄德幼時，與鄉中小兒戲於樹下，曰：「我為天子，當乘此車蓋。」叔父劉元起奇其言，曰：「此兒非常人也！」因見玄德家貧，常資給之。年十五歲，母使游學，嘗師事鄭玄、盧植，與公孫瓚等為友。及劉焉發榜招軍時，玄德年已二十八歲矣。',\n",
       " '\\u3000\\u3000當日見了榜文，慨然長嘆。隨後一人厲聲言曰：「大丈夫不與國家出力，何故長嘆？」玄德回視其人：身長八尺，豹頭環眼，燕頷虎鬚，聲若巨雷，勢如奔馬。玄德見他形貌異常，問其姓名。其人曰：「某姓張，名飛，字翼德。世居涿郡，頗有莊田，賣酒屠豬，專好結交天下豪傑。適纔見公看榜而嘆，故此相問。」玄德曰：「我本漢室宗親，姓劉，名備。今聞黃巾倡亂，有志欲破賊安民；恨力不能，故長嘆耳。」飛曰：「吾頗有資財，當招募鄉勇，與公同舉大事，如何？」玄德甚喜，遂與同入村店中飲酒。正飲間，見一大漢，推著一輛車子，到店門首歇了；入店坐下，便喚酒保：「快斟酒來吃，我待趕入城去投軍。」玄德看其人：身長九尺，髯長二尺；面如重棗，唇如塗脂；丹鳳眼，臥蠶眉：相貌堂堂，威風凜凜。玄德就邀他同坐，叩其姓名。其人曰：「吾姓關，名羽，字長生，後改雲長，河東解良人也。因本處勢豪，倚勢凌人，被吾殺了；逃難江湖，五六年矣。今聞此處招軍破賊，特來應募。」玄德遂以己志告之。雲長大喜。同到張飛莊上，共議大事。',\n",
       " '\\u3000\\u3000飛曰：「吾莊後有一桃園，花開正盛；明日當於園中祭告天地，我三人結為兄弟，協力同心，然後可圖大事。」玄德、雲長齊聲應曰：「如此甚好。」次日，於桃園中，備下烏牛白馬祭禮等項，三人焚香再拜而說誓曰：「念劉備、關羽、張飛，雖然異姓，既結為兄弟，則同心協力，救困扶危；上報國家，下安黎庶；不求同年同月同日生，只願同年同月同日死。皇天后土，實鑒此心。背義忘恩，天人共戮！」誓畢，拜玄德為兄，關羽次之，張飛為弟。祭罷天地，復宰牛設酒，聚鄉中勇士，得三百餘人，就桃園中痛飲一醉。來日收拾軍器，但恨無馬匹可乘。正思慮間，人報有兩個客人，引一夥伴儅，趕一群馬，投莊上來。玄德曰：「此天佑我也！」三人出莊迎接。原來二客乃中山大商：一名張世平，一名蘇雙，每年往北販馬，近因寇發而回。玄德請二人到莊，置酒管待，訴說欲討賊安民之意。二客大喜，願將良馬五十匹相送；又贈金銀五百兩，鑌鐵一千斤，以資器用。玄德謝別二客，便命良匠打造雙股劍。雲長造青龍偃月刀，又名「冷艷鋸」，重八十二斤。張飛造丈八點鋼矛。各置全身鎧甲。共聚鄉勇五百餘人，來見鄒靖。鄒靖引見太守劉焉。三人參見畢，各通姓名。玄德說起宗派，劉焉大喜，遂認玄德為侄。',\n",
       " '\\u3000\\u3000不數日，人報黃巾賊將程遠志統兵五萬來犯涿郡。劉焉令鄒靖引玄德等三人，統兵五百，前去破敵。玄德等欣然領軍前進，直至大興山下，與賊相見。賊眾皆披髮，以黃巾抹額。當下兩軍相對，玄德出馬，左有雲長，右有翼德，揚鞭大罵：「反國逆賊，何不早降！」程遠志大怒，遣副將鄧茂出戰。張飛挺丈八蛇矛直出，手起處，刺中鄧茂心窩，翻身落馬。程遠志見折了鄧茂，拍馬舞刀，直取張飛。雲長舞動大刀，縱馬飛迎。程遠志見了，早吃一驚，措手不及，被雲長刀起處，揮為兩段。後人有詩讚二人曰：',\n",
       " '英雄露穎在今朝，一試矛兮一試刀。',\n",
       " '初出便將威力展，三分好把姓名標。',\n",
       " '\\u3000\\u3000眾賊見程遠志被斬，皆倒戈而走。玄德揮軍追趕，投降者不計其數，大勝而回。劉焉親自迎接，賞勞軍士。次日，接得青州太守龔景牒文，言黃巾賊圍城將陷，乞賜救援。劉焉與玄德商議。玄德曰：「備願往救之。」劉焉令鄒靖將兵五千，同玄德、關、張，投青州來。賊眾見救兵至，分兵混戰。玄德兵寡不勝，退三十里下寨。玄德謂關、張曰：「賊眾我寡；必出奇兵，方可取勝。」乃分關公引一千軍伏山左，張飛引一千軍伏山右，鳴金為號，齊出接應。次日，玄德與鄒靖引軍鼓噪而進。賊眾迎戰，玄德引軍便退。賊眾乘勢追趕，方過山嶺，玄德軍中一齊鳴金，左右兩軍齊出，玄德麾軍回身復殺。三路夾攻，賊眾大潰。直趕至青州城下，太守龔景亦率民兵出城助戰。賊勢大敗，剿戮極多，遂解青州之圍。後人有詩讚玄德曰：',\n",
       " '運籌決算有神功，二虎還須遜一龍。',\n",
       " '初出便能垂偉績，自應分鼎在孤窮。',\n",
       " '\\u3000\\u3000龔景犒軍畢，鄒靖欲回。玄德曰：「近聞中郎將盧植與賊首張角戰於廣宗，備昔曾師事盧植，欲往助之。」於是鄒靖引軍自回，玄德與關、張引本部五百人投廣宗來。至盧植軍中，入帳施禮，具道來意。盧植大喜，留在帳前聽調。',\n",
       " '\\u3000\\u3000時張角賊眾十五萬，植兵五萬，相拒於廣宗，未見勝負。植謂玄德曰：「我今圍賊在此，賊弟張梁、張寶在潁川，與皇甫嵩、朱雋對壘。汝可引本部人馬，我更助汝一千官軍，前去潁川打探消息，約期剿捕。」玄德領命，引軍星夜投潁川來。時皇甫嵩、朱儁領軍拒賊，賊戰不利，退入長社，依草結營。嵩與儁計曰：「賊依草結營，當用火攻之。」遂令軍士，每人束草一把，暗地埋伏。其夜大風忽起。二更以後，一齊縱火，嵩與儁各引兵攻擊賊寨，火焰張天，賊眾驚慌，馬不及鞍，人不及甲，四散奔走。',\n",
       " '\\u3000\\u3000殺到天明，張梁、張寶引敗殘軍士，奪路而走。忽見一彪軍馬，盡打紅旗，當頭來到，截住去路。為首閃出一將：身長七尺，細眼長髯；官拜騎都尉；沛國譙郡人也，姓曹，名操，字孟德。操父曹嵩，本姓夏侯氏；因為中常侍曹騰之養子，故冒姓曹。曹嵩生操，小字阿瞞，一名吉利。操幼時，好游獵，喜歌舞；有權謀，多機變。操有叔父，見操游蕩無度，嘗怒之，言於曹嵩。嵩責操。操忽心生一計：見叔父來，詐倒於地，作中風之狀。叔父驚告嵩，嵩急視之，操故無恙。嵩曰：「叔言汝中風，今已愈乎？」操曰：「兒自來無此病；因失愛於叔父，故見罔耳。」嵩信其言。後叔父但言操過，嵩並不聽。因此，操得恣意放蕩。時人有橋玄者，謂操曰：「天下將亂，非命世之才不能濟。能安之者，其在君乎？」南陽何颙見操，言：「漢室將亡，安天下者，必此人也。」汝南許劭，有知人之名。操往見之，問曰：「我何如人？」劭不答。又問，劭曰：「子治世之能臣，亂世之奸雄也。」操聞言大喜。年二十，舉孝廉，為郎，除洛陽北都尉。初到任，即設五色棒十餘條於縣之四門，有犯禁者，不避富豪，皆責之。中常侍蹇碩之叔，提刀夜行，操巡夜拿住，就棒責之。由是，內外莫敢犯者，威名頗震。後為頓丘令。因黃巾起，拜為騎都尉，引馬步軍五千，前來潁川助戰。正值張梁、張寶敗走，曹操攔住，大殺一陣，斬首萬餘級，奪得旗旌、金鼓、馬匹極多。張梁、張寶死戰得脫。操見過皇甫嵩、朱儁，隨即引兵追襲張梁、張寶去了。',\n",
       " '\\u3000\\u3000卻說玄德引關、張來潁川，聽得喊殺之聲，又望見火光燭天，急引兵來時，賊已敗散。玄德見皇甫嵩、朱儁，具道盧植之意。嵩曰：「張梁、張寶勢窮力乏，必投廣宗去依張角。玄德可即星夜往助。」玄德領命，遂引兵復回。到得半路，只見一簇軍馬，護送一輛檻車；車中之囚，乃盧植也。玄德大驚，滾鞍下馬，問其緣故。植曰：「我圍張角，將次可破；因角用妖術，未能即勝。朝廷差黃門左豐前來體探，問我索取賄賂。我答曰：『軍糧尚缺，安有餘錢奉承天使？』左豐挾恨，回奏朝廷，說我高壘不戰，惰慢軍心；因此朝廷震怒，遣中郎將董卓來代將我兵，取我回京問罪。」張飛聽罷，大怒，要斬護送軍人，以救盧植。玄德急止之曰：「朝廷自有公論，汝豈可造次？」軍士簇擁盧植去了。',\n",
       " '\\u3000\\u3000關公曰：「盧中郎已被逮，別人領兵，我等去無所依，不如且回涿郡。」玄德從其言，遂引軍北行。行無二日，忽聞山後喊聲大震。玄德引關、張縱馬上高岡望之，見漢軍大敗，後面漫山塞野，黃巾蓋地而來，旗上大書「天公將軍」。玄德曰：「此張角也！可速戰。」三人飛馬引軍而出。張角正殺敗董卓，乘勢趕來，忽遇三人衝殺，角軍大亂，敗走五十餘里。三人救了董卓回寨。卓問三人現居何職。玄德曰：「白身。」卓甚輕之，不為禮。玄德出，張飛大怒曰：「我等親赴血戰，救了這廝，他卻如此無禮！若不殺他，難消我氣！」便要提刀入帳來殺董卓。正是：',\n",
       " '人情勢利古猶今，誰識英雄是白身？',\n",
       " '安得快人如翼德，盡誅世上負心人！',\n",
       " '畢竟董卓性命如何，且聽下文分解。']"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "def split_long_text(long_text: str, max_tokens: int=MAX_TOKENS) -> list[str]:\n",
    "    text_list = [ x for x in long_text.split(\"\\n\") if len(x.strip()) > 0 ]\n",
    "    results = []\n",
    "\n",
    "    for text in text_list:\n",
    "        tokens = num_tokens(text)\n",
    "        if tokens > max_tokens:\n",
    "            for i in range(0, tokens, max_tokens):\n",
    "                results.append(text[i:i+max_tokens])\n",
    "        else:\n",
    "            results.append(text)\n",
    "\n",
    "    return results\n",
    "\n",
    "splitted = split_long_text(long_text)\n",
    "splitted"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "38d6d78a-725c-43b1-8a94-2baca0ae9568",
   "metadata": {},
   "source": [
    "这样我们就得到了一个每一项都不超限的字符串列表，可以让 GPT 依次生成摘要了。\n",
    "\n",
    "但是我们也发现，这个列表里有很多项的长度非常短。理想的情况是我们列表里每一项的长度都尽可能地接近上限，这样一来可以减少请求次数（省钱），二来过短的段落也没有摘要的必要。\n",
    "\n",
    "我们再写一个函数，用来合并列表里的项目。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "4fdfff82-c39d-4908-93ba-ad8363e00c51",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['第一回\\u3000宴桃園豪傑三結義\\u3000斬黃巾英雄首立功\\n\\u3000\\u3000詞曰：\\n滾滾長江東逝水，浪花淘盡英雄。\\n是非成敗轉頭空：青山依舊在，幾度夕陽紅。\\n白髮漁樵江渚上，慣看秋月春風。\\n一壺濁酒喜相逢：古今多少事，都付笑談中。\\n\\u3000\\u3000話說天下大勢，分久必合，合久必分。周末七國分爭，併入於秦。及秦滅之後，楚、漢分爭，又併入於漢。漢朝自高祖斬白蛇而起義，一統天下。後來光武中興，傳至獻帝，遂分為三國。推其致亂之由，殆始於桓、靈二帝。桓帝禁錮善類，崇信宦官。及桓帝崩，靈帝即位，大將軍竇武、太傅陳蕃，共相輔佐。時有宦官曹節等弄權，竇武、陳蕃謀誅之，作事不密，反為所害，中涓自此愈橫。\\n\\u3000\\u3000建寧二年四月望日，帝御溫德殿。方陞座，殿角狂風驟起，只見一條大青蛇，從梁上飛將下來，蟠於椅上。帝驚倒，左右急救入宮，百官俱奔避。須臾，蛇不見了。忽然大雷大雨，加以冰雹，落到半夜方止，壞卻房屋無數。建寧四年二月，洛陽地震；又海水泛濫，沿海居民，盡被大浪捲入海中。光和元年，雌雞化雄。六月朔，黑氣十餘丈，飛入溫德殿中。秋七月，有虹現於玉堂，五原山岸，盡皆崩裂。種種不祥，非止一端。帝下詔問群臣以災異之由，議郎蔡邕上疏，以為霓墮雞化，乃婦寺干政之所致，言頗切直。帝覽奏嘆息，因起更衣。曹節在後竊視，悉宣告左右，遂以他事陷邕於罪，放歸田里。後張讓、趙忠、封諝、段圭、曹節、侯覽、蹇碩、程曠、夏惲、郭勝十人朋比為奸，號為「十常侍」。帝尊信張讓，呼為「阿父」。朝政日非，以致天下人心思亂，盜賊蜂起。\\n\\u3000\\u3000時鉅鹿郡有兄弟三人：一名張角，一名張寶，一名張梁。那張角本是個不第秀才，因入山採藥，遇一老人，碧眼童顏，手執藜杖，喚角至一洞中，以天書三卷授之，曰：「此名太平要術。汝得之，當代天宣化，普救世人。若萌異心，必獲惡報。」角拜問姓名。老人曰：「吾乃南華老仙也。」言訖，化陣清風而去。角得此書，曉夜功習，能呼風喚雨，號為「太平道人」。中平元年正月內，疫氣流行，張角散施符水，為人治病，自稱「大賢良師」。角有徒弟五百餘人，雲游四方，皆能書符念咒。次後徒眾日多，角乃立三十六方，大方萬餘人，小方六七千，各立渠帥，稱為將軍；訛言：「蒼天已死，黃天當立；歲在甲子，天下大吉。」令人各以白土，書「甲子」二字於家中大門上。青、幽、徐、冀、荊、揚、兗、豫八州之人，家家侍奉大賢良師張角名字。角遣其黨馬元義，暗齎金帛，結交中涓封胥，以為內應。角與二弟商議曰：「至難得者，民心也。今民心已順，若不乘勢取天下，誠為可惜。」遂一面私造黃旗，約期舉事；一面使弟子唐周，持書報封諝。唐周乃徑赴省中告變。帝召大將軍何進調兵擒馬元義，斬之；次收封諝等一干人下獄。張角聞知事露，星夜舉兵，自稱「天公將軍」，張寶稱「地公將軍」，張梁稱「人公將軍」；申言於眾曰：「今漢運將終，大聖人出。汝等皆宜順天從正，以樂太平。」四方百姓，裹黃巾從張角反者四五十萬。賊勢浩大，官軍望風而靡。何進奏帝火速降詔，令各處備禦，討賊立功；一面遣中郎將盧植、皇甫嵩、朱雋，各引精兵，分三路討之。\\n\\u3000\\u3000且說張角一軍，前犯幽州界分。幽州太守劉焉，乃江夏竟陵人氏，漢魯恭王之後也；當時聞得賊兵將至，召校尉鄒靖計議。靖曰：「賊兵眾，我兵寡，明公宜作速招軍應敵。」劉焉然其說，隨即出榜招募義兵。榜文行到涿縣，引出涿縣中一個英雄。那人不甚好讀書；性寬和，寡言語，喜怒不言於色；素有大志，專好結交天下豪傑；生得身長七尺五寸，兩耳垂肩，雙手過膝，目能自顧其耳，面如冠玉，唇如塗脂；中山靖王劉勝之後，漢景帝閣下玄孫：姓劉，名備，字玄德。昔劉勝之子劉貞，漢武時封涿鹿亭侯，後坐酌金失侯，因此遺這一支在涿縣。玄德祖劉雄，父劉弘。弘曾舉孝廉，亦嘗作吏，早喪。玄德孤幼，事母至孝；家貧，販屨織席為業。家住本縣樓桑村。其家之東南，有一大桑樹，高五丈餘，遙望之，童童如車蓋。相者云：「此家必出貴人。」玄德幼時，與鄉中小兒戲於樹下，曰：「我為天子，當乘此車蓋。」叔父劉元起奇其言，曰：「此兒非常人也！」因見玄德家貧，常資給之。年十五歲，母使游學，嘗師事鄭玄、盧植，與公孫瓚等為友。及劉焉發榜招軍時，玄德年已二十八歲矣。',\n",
       " '\\u3000\\u3000當日見了榜文，慨然長嘆。隨後一人厲聲言曰：「大丈夫不與國家出力，何故長嘆？」玄德回視其人：身長八尺，豹頭環眼，燕頷虎鬚，聲若巨雷，勢如奔馬。玄德見他形貌異常，問其姓名。其人曰：「某姓張，名飛，字翼德。世居涿郡，頗有莊田，賣酒屠豬，專好結交天下豪傑。適纔見公看榜而嘆，故此相問。」玄德曰：「我本漢室宗親，姓劉，名備。今聞黃巾倡亂，有志欲破賊安民；恨力不能，故長嘆耳。」飛曰：「吾頗有資財，當招募鄉勇，與公同舉大事，如何？」玄德甚喜，遂與同入村店中飲酒。正飲間，見一大漢，推著一輛車子，到店門首歇了；入店坐下，便喚酒保：「快斟酒來吃，我待趕入城去投軍。」玄德看其人：身長九尺，髯長二尺；面如重棗，唇如塗脂；丹鳳眼，臥蠶眉：相貌堂堂，威風凜凜。玄德就邀他同坐，叩其姓名。其人曰：「吾姓關，名羽，字長生，後改雲長，河東解良人也。因本處勢豪，倚勢凌人，被吾殺了；逃難江湖，五六年矣。今聞此處招軍破賊，特來應募。」玄德遂以己志告之。雲長大喜。同到張飛莊上，共議大事。\\n\\u3000\\u3000飛曰：「吾莊後有一桃園，花開正盛；明日當於園中祭告天地，我三人結為兄弟，協力同心，然後可圖大事。」玄德、雲長齊聲應曰：「如此甚好。」次日，於桃園中，備下烏牛白馬祭禮等項，三人焚香再拜而說誓曰：「念劉備、關羽、張飛，雖然異姓，既結為兄弟，則同心協力，救困扶危；上報國家，下安黎庶；不求同年同月同日生，只願同年同月同日死。皇天后土，實鑒此心。背義忘恩，天人共戮！」誓畢，拜玄德為兄，關羽次之，張飛為弟。祭罷天地，復宰牛設酒，聚鄉中勇士，得三百餘人，就桃園中痛飲一醉。來日收拾軍器，但恨無馬匹可乘。正思慮間，人報有兩個客人，引一夥伴儅，趕一群馬，投莊上來。玄德曰：「此天佑我也！」三人出莊迎接。原來二客乃中山大商：一名張世平，一名蘇雙，每年往北販馬，近因寇發而回。玄德請二人到莊，置酒管待，訴說欲討賊安民之意。二客大喜，願將良馬五十匹相送；又贈金銀五百兩，鑌鐵一千斤，以資器用。玄德謝別二客，便命良匠打造雙股劍。雲長造青龍偃月刀，又名「冷艷鋸」，重八十二斤。張飛造丈八點鋼矛。各置全身鎧甲。共聚鄉勇五百餘人，來見鄒靖。鄒靖引見太守劉焉。三人參見畢，各通姓名。玄德說起宗派，劉焉大喜，遂認玄德為侄。\\n\\u3000\\u3000不數日，人報黃巾賊將程遠志統兵五萬來犯涿郡。劉焉令鄒靖引玄德等三人，統兵五百，前去破敵。玄德等欣然領軍前進，直至大興山下，與賊相見。賊眾皆披髮，以黃巾抹額。當下兩軍相對，玄德出馬，左有雲長，右有翼德，揚鞭大罵：「反國逆賊，何不早降！」程遠志大怒，遣副將鄧茂出戰。張飛挺丈八蛇矛直出，手起處，刺中鄧茂心窩，翻身落馬。程遠志見折了鄧茂，拍馬舞刀，直取張飛。雲長舞動大刀，縱馬飛迎。程遠志見了，早吃一驚，措手不及，被雲長刀起處，揮為兩段。後人有詩讚二人曰：\\n英雄露穎在今朝，一試矛兮一試刀。\\n初出便將威力展，三分好把姓名標。\\n\\u3000\\u3000眾賊見程遠志被斬，皆倒戈而走。玄德揮軍追趕，投降者不計其數，大勝而回。劉焉親自迎接，賞勞軍士。次日，接得青州太守龔景牒文，言黃巾賊圍城將陷，乞賜救援。劉焉與玄德商議。玄德曰：「備願往救之。」劉焉令鄒靖將兵五千，同玄德、關、張，投青州來。賊眾見救兵至，分兵混戰。玄德兵寡不勝，退三十里下寨。玄德謂關、張曰：「賊眾我寡；必出奇兵，方可取勝。」乃分關公引一千軍伏山左，張飛引一千軍伏山右，鳴金為號，齊出接應。次日，玄德與鄒靖引軍鼓噪而進。賊眾迎戰，玄德引軍便退。賊眾乘勢追趕，方過山嶺，玄德軍中一齊鳴金，左右兩軍齊出，玄德麾軍回身復殺。三路夾攻，賊眾大潰。直趕至青州城下，太守龔景亦率民兵出城助戰。賊勢大敗，剿戮極多，遂解青州之圍。後人有詩讚玄德曰：\\n運籌決算有神功，二虎還須遜一龍。\\n初出便能垂偉績，自應分鼎在孤窮。\\n\\u3000\\u3000龔景犒軍畢，鄒靖欲回。玄德曰：「近聞中郎將盧植與賊首張角戰於廣宗，備昔曾師事盧植，欲往助之。」於是鄒靖引軍自回，玄德與關、張引本部五百人投廣宗來。至盧植軍中，入帳施禮，具道來意。盧植大喜，留在帳前聽調。\\n\\u3000\\u3000時張角賊眾十五萬，植兵五萬，相拒於廣宗，未見勝負。植謂玄德曰：「我今圍賊在此，賊弟張梁、張寶在潁川，與皇甫嵩、朱雋對壘。汝可引本部人馬，我更助汝一千官軍，前去潁川打探消息，約期剿捕。」玄德領命，引軍星夜投潁川來。時皇甫嵩、朱儁領軍拒賊，賊戰不利，退入長社，依草結營。嵩與儁計曰：「賊依草結營，當用火攻之。」遂令軍士，每人束草一把，暗地埋伏。其夜大風忽起。二更以後，一齊縱火，嵩與儁各引兵攻擊賊寨，火焰張天，賊眾驚慌，馬不及鞍，人不及甲，四散奔走。',\n",
       " '\\u3000\\u3000殺到天明，張梁、張寶引敗殘軍士，奪路而走。忽見一彪軍馬，盡打紅旗，當頭來到，截住去路。為首閃出一將：身長七尺，細眼長髯；官拜騎都尉；沛國譙郡人也，姓曹，名操，字孟德。操父曹嵩，本姓夏侯氏；因為中常侍曹騰之養子，故冒姓曹。曹嵩生操，小字阿瞞，一名吉利。操幼時，好游獵，喜歌舞；有權謀，多機變。操有叔父，見操游蕩無度，嘗怒之，言於曹嵩。嵩責操。操忽心生一計：見叔父來，詐倒於地，作中風之狀。叔父驚告嵩，嵩急視之，操故無恙。嵩曰：「叔言汝中風，今已愈乎？」操曰：「兒自來無此病；因失愛於叔父，故見罔耳。」嵩信其言。後叔父但言操過，嵩並不聽。因此，操得恣意放蕩。時人有橋玄者，謂操曰：「天下將亂，非命世之才不能濟。能安之者，其在君乎？」南陽何颙見操，言：「漢室將亡，安天下者，必此人也。」汝南許劭，有知人之名。操往見之，問曰：「我何如人？」劭不答。又問，劭曰：「子治世之能臣，亂世之奸雄也。」操聞言大喜。年二十，舉孝廉，為郎，除洛陽北都尉。初到任，即設五色棒十餘條於縣之四門，有犯禁者，不避富豪，皆責之。中常侍蹇碩之叔，提刀夜行，操巡夜拿住，就棒責之。由是，內外莫敢犯者，威名頗震。後為頓丘令。因黃巾起，拜為騎都尉，引馬步軍五千，前來潁川助戰。正值張梁、張寶敗走，曹操攔住，大殺一陣，斬首萬餘級，奪得旗旌、金鼓、馬匹極多。張梁、張寶死戰得脫。操見過皇甫嵩、朱儁，隨即引兵追襲張梁、張寶去了。\\n\\u3000\\u3000卻說玄德引關、張來潁川，聽得喊殺之聲，又望見火光燭天，急引兵來時，賊已敗散。玄德見皇甫嵩、朱儁，具道盧植之意。嵩曰：「張梁、張寶勢窮力乏，必投廣宗去依張角。玄德可即星夜往助。」玄德領命，遂引兵復回。到得半路，只見一簇軍馬，護送一輛檻車；車中之囚，乃盧植也。玄德大驚，滾鞍下馬，問其緣故。植曰：「我圍張角，將次可破；因角用妖術，未能即勝。朝廷差黃門左豐前來體探，問我索取賄賂。我答曰：『軍糧尚缺，安有餘錢奉承天使？』左豐挾恨，回奏朝廷，說我高壘不戰，惰慢軍心；因此朝廷震怒，遣中郎將董卓來代將我兵，取我回京問罪。」張飛聽罷，大怒，要斬護送軍人，以救盧植。玄德急止之曰：「朝廷自有公論，汝豈可造次？」軍士簇擁盧植去了。\\n\\u3000\\u3000關公曰：「盧中郎已被逮，別人領兵，我等去無所依，不如且回涿郡。」玄德從其言，遂引軍北行。行無二日，忽聞山後喊聲大震。玄德引關、張縱馬上高岡望之，見漢軍大敗，後面漫山塞野，黃巾蓋地而來，旗上大書「天公將軍」。玄德曰：「此張角也！可速戰。」三人飛馬引軍而出。張角正殺敗董卓，乘勢趕來，忽遇三人衝殺，角軍大亂，敗走五十餘里。三人救了董卓回寨。卓問三人現居何職。玄德曰：「白身。」卓甚輕之，不為禮。玄德出，張飛大怒曰：「我等親赴血戰，救了這廝，他卻如此無禮！若不殺他，難消我氣！」便要提刀入帳來殺董卓。正是：\\n人情勢利古猶今，誰識英雄是白身？\\n安得快人如翼德，盡誅世上負心人！\\n畢竟董卓性命如何，且聽下文分解。']"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "def join_short_strings(texts: list[str], max_tokens: int=MAX_TOKENS) -> list[str]:\n",
    "    results = []\n",
    "    buffer = ''\n",
    "    for text in texts:\n",
    "        if not buffer:\n",
    "            buffer = text\n",
    "        else:\n",
    "            if num_tokens(f'{buffer}\\n{text}') <= max_tokens:\n",
    "                buffer = f'{buffer}\\n{text}'\n",
    "            else:\n",
    "                results.append(buffer)\n",
    "                buffer = text\n",
    "\n",
    "    if buffer:\n",
    "        results.append(buffer)\n",
    "\n",
    "    return results\n",
    "\n",
    "joined = join_short_strings(splitted)\n",
    "joined"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e2698525-f44f-4ef5-9e34-6e23325e584c",
   "metadata": {},
   "source": [
    "现在我们就得到了一个合适的列表，其中每一项的 token 数量都不超过我们的限制，且列表长度尽可能小。"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f66c9595-711a-4fbd-8b10-414b88c22a09",
   "metadata": {},
   "source": [
    "## 要求 GPT 生成摘要\n",
    "\n",
    "接下来我们写几个函数，用来要求 GPT 生成文章摘要。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "87ee3af5-6241-401c-a8f3-9501befb88c3",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Generating summary for item #1: 第一回　宴桃園豪傑三...\n",
      "Summary for item #1 generated\n",
      "Generating summary for item #2: 　　當日見了榜文，慨...\n",
      "Summary for item #2 generated\n",
      "Generating the final summary...\n",
      "《三国演义》第一回讲述了末代汉朝的混乱局面，以及张角领导的太平道人与黄巾军的崛起。在这样的背景下，刘备、关羽、张飞三人结义，誓言共同抗击黄巾军。他们招募了鄉勇五百人，打败了程远志领导的黄巾军，又前往青州救援，最终成功解围。随后，他们又前往潁川打探消息，准备剿灭张梁、张宝领导的另一支黄巾军。这一回合中，展现了三位英雄的勇气和义气，也为后续的故事奠定了基础。\n"
     ]
    }
   ],
   "source": [
    "def summarize(text: str, model: str=GPT_MODEL) -> str:\n",
    "    system_message = {\n",
    "        'role': 'system',\n",
    "        'content': '为用户提供的文本生成摘要'\n",
    "    }\n",
    "    human_message = {\n",
    "        'role': 'user',\n",
    "        'content': text\n",
    "    }\n",
    "    response = openai.ChatCompletion.create(\n",
    "        messages=[system_message, human_message],\n",
    "        model=model,\n",
    "        temperature=0,\n",
    "    )\n",
    "    return response['choices'][0]['message']['content']\n",
    "\n",
    "def summarize_all(texts: list[str], model: str=GPT_MODEL) -> str:\n",
    "    summary = ''\n",
    "    for i, text in enumerate(texts):\n",
    "        print(f'Generating summary for item #{i + 1}: {text[:10]}...')\n",
    "        summary += summarize(text, model=model)\n",
    "        print(f'Summary for item #{i + 1} generated')\n",
    "    print(f'Generating the final summary...')\n",
    "    return summarize(summary)\n",
    "\n",
    "def summarize_long_text(long_text: str, model: str=GPT_MODEL) -> str:\n",
    "    text_list = join_short_strings(split_long_text(long_text))\n",
    "    return summarize_all(text_list)\n",
    "\n",
    "summary = summarize_long_text(long_text)\n",
    "print(summary)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "98d41115-2e13-46f9-baa1-73dd73ae41b2",
   "metadata": {},
   "source": [
    "可以看到，我们成功突破了 token 上限，为三国演义的第一回生成了摘要。"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "89aabe81-c5a9-4491-ab7e-de353ec23855",
   "metadata": {},
   "source": [
    "## 接下来做什么\n",
    "\n",
    "接下来你还可以继续迭代这段代码，当生成的摘要最后仍然超限的时候继续拆分，以及加入适当的异常处理机制。但是软件工程层面的优化就不在本文档的讨论范围之内了。\n",
    "\n",
    "理解了如何让 OpenAI 处理长文本，那么除了生成摘要，像翻译、归类、审核、结构化等任务也可以交给它来处理了。"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}