奇客 ChatGPT 是如何構(gòu)建的
當(dāng) OpenAI 在 2022 年 11 月發(fā)布 ChatGPT 時(shí)它并沒(méi)有預(yù)料到這個(gè) AI 聊天機(jī)器人會(huì)取得難以想象的成功。OpenAI 內(nèi)部將之視為研究預(yù)覽,旨在收集公眾的反饋消除部分缺陷。參與開發(fā) ChatGPT 的科學(xué)家 Liam Fedus 說(shuō),我們不想將其夸大為一次巨大的基礎(chǔ)性突破。MIT 科技評(píng)論采訪了 OpenAI 的科學(xué)家以及聯(lián)合創(chuàng)始人 John Schulman,揭示 ChatGPT 的開發(fā)過(guò)程和技術(shù)細(xì)節(jié),介紹 ChatGPT 是如何構(gòu)建的。自去年 11 月以來(lái),OpenAI 已經(jīng)多次更新了 ChatGPT,主要是通過(guò)對(duì)抗性訓(xùn)練阻止用戶誘騙聊天機(jī)器人繞過(guò)限制——這種做法被稱為越獄。
對(duì)于 ChatGPT 的巨大成功,OpenAI 團(tuán)隊(duì)也有幾分感到不解,因?yàn)?ChatGPT 使用的技術(shù)都不是新的,ChatGPT 使用了微調(diào)版的 GPT-3.5,而 GPT-3.5 是 2020 年發(fā)布的 GPT-3 的更新版,OpenAI 在 2022 年 1 月發(fā)布了微調(diào)版 GPT-3.5 的預(yù)覽。相關(guān) API 也早就發(fā)布了,不過(guò)這些都不是面向公眾的。
https://www.technologyreview.com/2023/03/03/1069311/inside-story-oral-history-how-chatgpt-built-openai/
https://www.technologyreview.com/2023/03/03/1069311/inside-story-oral-history-how-chatgpt-built-openai/