以openai 大gpt大語(yǔ)言模型為例來(lái)說(shuō)明：

以下是常用的openai的大模型對(duì)比圖：

4k 8k 16k 32k 分別是4000 token和8000 token 16000 token和32000token

上文（提示輸入）+下文（輸出補(bǔ)全）的長(zhǎng)度之和。比如4k模型，意味著輸入+輸出的總長(zhǎng)度在4000 token以內(nèi)。不能超過4000 token。

我們看到隨著上下文長(zhǎng)度的增加，成本是指數(shù)級(jí)增加的。因?yàn)閠ransfermor架構(gòu)，是根據(jù)上文內(nèi)容計(jì)算下一個(gè)字的概率，隨著上文內(nèi)容增加，計(jì)算下文的算力會(huì)指數(shù)級(jí)上漲。

下面是300次對(duì)話，用gpt-4-1106-preview做的算力消耗的成本。

gpt-4-1106-preview VS  gpt-4-0613

大家都知道4.0的0613，輸入輸出成本是4.0-1106的一倍。就一定gpt-4-0613 每次的對(duì)話任務(wù)成本就高？

從成本結(jié)構(gòu)上來(lái)看，GPT4-0613是8k模型。而且輸入和輸出的成本價(jià)格都是gpt-4-1106-preview的2倍。是不是在任何場(chǎng)景下GPT4-0613-8k就比gpt-4-1106-preview-128k消耗就貴？

答案是錯(cuò)誤的，在gpt長(zhǎng)對(duì)話的場(chǎng)景下，GPT4-0613-8k設(shè)置輸出4000token的參數(shù)下，輸入也就被限制在4000 token。

但是gpt-4-1106-preview-128k輸出是4000 token的情況下，輸入可以達(dá)到驚人的10w token/次的消耗。意味著gpt-4-1106-preview要承受更多的輸入消耗和更長(zhǎng)的記憶力。

上文輸入=模型的記憶長(zhǎng)度，輸入越長(zhǎng)，記憶力越長(zhǎng)

根據(jù)需求，選模型很重要。要考慮模型能力，上下文長(zhǎng)度和模型的成本以及后期的技術(shù)調(diào)整（尤其是使用gpt-4-1106-preview 的時(shí)候，切斷輸入上文的長(zhǎng)度，可以有效的降低成本）

GPT 3.5 VS GPT 4.0

這個(gè)就不用講太多了GPT 4.0的準(zhǔn)確性和邏輯性要比3.5好很多，大家都有明顯的體感！

模型推薦：

推薦：GPT-3.5-16k模型，可以支持長(zhǎng)文理解，翻譯和總結(jié)。

gpt-4-1106-preview，使用這個(gè)模型的成本，比之前gpt4.0 降低了一半，也必須推薦！