- Ukusanyaji wa Takwimu: Mafunzo yangu yalianza na maandishi anuwai ya mtandao. Hata hivyo, ninapaswa kutambua kwamba nilipokuwa nikifunzwa kwenye mkusanyiko mpana wa data, sijui hasa ni hati zipi zilikuwa sehemu ya seti hiyo ya mafunzo au kupata hati au vyanzo vyovyote maalum.
- Mafunzo ya awali (mafunzo ya awali): Hapa ndipo nilipojifunza kutabiri neno linalofuata katika sentensi. Sikuanza kujua Kiingereza au lugha nyingine yoyote. Badala yake, kwa kutabiri neno linalofuata katika mamilioni ya sentensi, polepole nilijifunza kuhusu sarufi, ukweli kuhusu ulimwengu na uwezo fulani wa kufikiri. Walakini, hii pia inamaanisha ningeweza kujifunza kutoka kwa maelezo ya upendeleo au yasiyo sahihi kwani data haikuchujwa kikamilifu.
- Urekebishaji Mzuri: Baada ya mafunzo ya awali, watayarishi wangu katika OpenAI walitoa mwongozo zaidi na mkusanyiko maalum wa data, uliotolewa kwa usaidizi wa wakaguzi wa kibinadamu. Wakaguzi hawa hufuata miongozo ya kukagua na kukadiria uwezekano wa matokeo ya kielelezo kwa anuwai ya mifano ya pembejeo. Mchakato wa kurekebisha vizuri ni aina ya mazungumzo kati ya modeli na wakaguzi ambayo hunisaidia kupatanisha vyema na maadili ya kibinadamu.
- Kujifunza Kuendelea: Ingawa sijifunzi kutokana na mwingiliano wa watu binafsi kutokana na sababu za faragha, OpenAI huendelea kufanya kazi na timu ya wakaguzi wa kibinadamu ili kutoa maoni na kufanya maboresho ya kurudia kulingana na mifumo na maarifa mapana.
- Mfano wa Mafunzo ya awali: Tuseme tuna sentensi, "Paka alikaa juu ya __". Katika awamu ya mafunzo ya awali, mfano kama mimi angejifunza kutabiri neno linalofuata katika sentensi, ambalo linaweza kuwa "mkeka" "paa" au "mti". Hili hujifunza kwa kuchakata mabilioni ya sentensi kutoka kwa maandishi mbalimbali ya mtandao, ambayo yanahusisha kwa njia isiyo ya moja kwa moja mwingiliano wa binadamu jinsi wanadamu walivyounda maudhui asili.
- Mfano wa kurekebisha vizuri: Baada ya awamu ya mafunzo ya awali, mfano huingia kwenye awamu ya kurekebisha. Hivi ndivyo inavyoweza kufanya kazi:
Mkaguzi wa kibinadamu anapewa kazi ya kukagua vielelezo vinavyowezekana vya ingizo kama vile “Tafsiri maandishi yafuatayo ya Kiingereza hadi Kifaransa: 'Hujambo, hujambo?'”. Muundo huo unaweza kutoa majibu kadhaa kama vile "Bonjour, maoni ça va?" au “Salut, comment vas-tu?” na kadhalika.
Mkaguzi hukadiria majibu haya kulingana na vipengele kama vile usahihi, ufasaha na ufaafu. Ukadiriaji huu husaidia modeli kujumuisha na kujibu maingizo sawa katika siku zijazo.
Kumbuka, mifano iliyotolewa hapa imerahisishwa ili kuonyesha mchakato. Mafunzo halisi yanahusisha algoriti changamano na idadi kubwa ya data.
- Data mbalimbali: Sio tu juu ya kiasi cha data, lakini pia aina mbalimbali. Data inahitaji kuwa tofauti ili kushughulikia mada, mitindo, na toni mbalimbali zinazopatikana katika lugha ya binadamu.
- Ubora wa Takwimu: Ubora wa data inayotumika kwa mafunzo inaweza pia kuathiri jinsi modeli inavyojifunza kwa ufanisi. Data ya ubora bora inaweza kupunguza kiasi kinachohitajika kwa mafunzo bora.
- Usanifu wa Mfano: Usanifu wa modeli (kama idadi ya tabaka au vigezo katika mtandao wa neva) unaweza pia kuathiri ni kiasi gani cha data kinachohitajika. Miundo kubwa zaidi, kama vile GPT-3 au GPT-4, kwa kawaida huhitaji data zaidi kuliko miundo midogo.
- Mafunzo ya Mafunzo: Aina ya kazi ambazo modeli inakusudiwa kufanya zinaweza kuathiri kiasi cha data inayohitajika. Muundo ulioundwa kwa ajili ya kazi mahususi unaweza kuhitaji data chache ikiwa inalengwa vyema, huku muundo wa madhumuni ya jumla kama vile GPT-3 au GPT-4, ulioundwa kushughulikia majukumu mbalimbali, utahitaji data zaidi kwa uelewa mpana.
Kwa upande wa GPT-3, kwa mfano, modeli ina vigezo bilioni 175 na ilifunzwa kwa mamia ya gigabytes ya maandishi. Lakini takwimu hizi hazichukui kikamilifu ugumu wa mchakato. Maelezo mahususi ya mchakato wa mafunzo, ikijumuisha kiasi kamili cha data iliyotumika, ni maelezo ya umiliki yanayoshikiliwa na OpenAI na mashirika sawa.
- Anza Kidogo: Hasa kwa matatizo rahisi au mifano ya awali ya mfano, mkusanyiko mdogo wa data unaweza kutosha. Kwa mfano, ikiwa unaunda kiainishaji picha msingi, unaweza kuanza na picha mia chache au elfu kwa kila kitengo.
- Fikiria Utata: Matatizo changamano zaidi kwa kawaida yanahitaji data zaidi. Ikiwa unaunda modeli ya kujifunza kwa kina au unashughulikia tatizo changamano kama vile kuchakata lugha asilia, huenda ukahitaji mamilioni ya pointi za data.
- Ubora juu ya Wingi: Ubora, data husika mara nyingi inaweza kuwa na manufaa zaidi kuliko idadi kubwa ya data yenye ubora duni. Kuhakikisha kwamba data yako imesafishwa vizuri, imefafanuliwa, na mwakilishi wa tatizo unalojaribu kutatua ni muhimu.
- Sawazisha Madarasa Yako: Kwa kazi za kujifunza zinazosimamiwa, hakikisha kuwa una mizania nzuri ya mifano kwa kila darasa. Seti ya data isiyo na usawa inaweza kusababisha muundo ambao hufanya kazi vibaya kwa madarasa ambayo hayawakilishwi sana.
- Tumia Seti za Uthibitishaji na Mtihani: Sehemu ya mkusanyiko wako wa data inapaswa kutengwa kwa ajili ya uthibitishaji (kurekebisha vigezo vya muundo) na majaribio (kutathmini utendakazi wa muundo). Migawanyiko ya kawaida inaweza kuwa 70% ya data ya mafunzo, 15% ya uthibitishaji, na 15% ya majaribio, ingawa idadi hii inaweza kutofautiana.
- Jaribio na Rudia: Anza na kiasi cha awali cha data, fundisha muundo wako, tathmini utendakazi wake, na uongeze data zaidi mara kwa mara, rekebisha muundo wako, au uboresha ubora wa data yako kulingana na matokeo.
Kumbuka, data zaidi kwa kawaida huboresha utendakazi wa miundo ya kujifunza kwa mashine, lakini hadi kiwango fulani. Baada ya hatua fulani, kukusanya data zaidi kunaweza kuchukua muda na gharama zaidi kuliko thamani yake, na inaweza kuwa na manufaa zaidi kuzingatia kuboresha ubora wa data yako au kuboresha usanifu wa muundo wako.
- Mafunzo ya awali: Katika awamu hii, mtindo unakabiliwa na kiasi kikubwa cha data ya maandishi ya mtandao. Data hii haijafafanuliwa kwa uwazi, lakini modeli imefunzwa kutabiri neno linalofuata katika sentensi. Hii inampa kielelezo uelewa wa jumla wa sarufi, ukweli kuhusu ulimwengu, na uwezo fulani wa kufikiri.
- Urekebishaji mzuri: Baada ya mafunzo ya awali, mtindo huo unaboreshwa zaidi kwenye mkusanyiko mdogo wa data unaozalishwa kwa usaidizi wa wakaguzi wa kibinadamu. Wakaguzi hawa hufuata miongozo kutoka kwa OpenAI kukagua na kukadiria matokeo ya modeli yanawezekana kwa maingizo anuwai. Kwa maana hii, mchakato wa kurekebisha vizuri unaweza kuonekana kama aina ya ufafanuzi, ambapo wakaguzi wa kibinadamu huongoza majibu ya mfano, kuusaidia kupatana vyema na maadili ya kibinadamu na kuhakikisha kuwa inaepuka maudhui yasiyofaa au yasiyo salama.
Kwa hivyo ingawa mkusanyiko wa data wa awali unaotumiwa kwa mafunzo ya awali haujafafanuliwa kwa maana ya kitamaduni, mchakato wa kurekebisha vizuri unahusisha aina ya ufafanuzi, ambapo wakaguzi wa kibinadamu huongoza tabia ya modeli kwa kukadiria matokeo tofauti.
Usahihi: Wakaguzi hutathmini kama matokeo ya modeli ni sahihi.
Mfano:
Kufaa: Matokeo ya modeli hutathminiwa kwa kufaa kwake kuhusiana na ingizo lililotolewa.
Mfano:
Usalama: Matokeo hukaguliwa ili kuhakikisha kuwa hayajumuishi maagizo hatari au lugha ya kuudhi.
Mfano:
Ukamilifu: Hii inatathmini kama jibu la mtindo hujibu kikamilifu swali la mtumiaji.
Mfano:
Fasaha: Wakaguzi hukagua ikiwa matokeo ya modeli ni fasaha ya kiisimu na yanashikamana.
Mfano:
Makundi haya ni mifano tu. Mchakato halisi wa urekebishaji unahusisha mfumo changamano zaidi wa tathmini na maoni ya mara kwa mara kati ya wakaguzi na timu ya ukuzaji ya AI. Lengo la vidokezo hivi ni kufanya majibu ya modeli yawe ya manufaa zaidi, salama na yalingane na maadili ya binadamu.
OpenAI, shirika linaloendesha ChatGPT, halifichui hadharani idadi kamili ya wakaguzi wanaohusika katika mchakato wa urekebishaji. Hata hivyo, kwa kuzingatia ukubwa na uchangamano wa kufunza modeli kubwa kama hii ya lugha, ni salama kusema kwamba mchakato huo huenda unahusisha timu kubwa ya wakaguzi.
Wakaguzi hawa wa kibinadamu hufuata miongozo inayotolewa na OpenAI ili kukagua na kukadiria uwezekano wa matokeo ya mfano. Ni mchakato unaoendelea, unaorudiwa ambapo maoni ya wakaguzi hutumiwa kuboresha na kuboresha muundo baada ya muda. OpenAI hudumisha mtiririko thabiti wa maoni na wakaguzi, ikijumuisha mikutano ya kila wiki ili kushughulikia maswali na kutoa ufafanuzi.
- Utata wa Kazi: Majukumu rahisi kama vile kuweka lebo picha au kuainisha maandishi yangechukua muda mfupi kwa kila PDF, hivyo kuruhusu kichambuzi kimoja kushughulikia faili zaidi. Kwa upande mwingine, kazi changamano kama vile uchimbaji wa kina wa huluki au uchanganuzi wa kisemantiki ungehitaji muda zaidi kwa kila hati, na kwa hivyo wachambuzi zaidi kwa kiasi sawa cha PDF.
- Urefu na Ugumu wa PDFs: PDF ndefu au ngumu zaidi itachukua muda zaidi kufafanua kuliko fupi au rahisi zaidi.
- Mahitaji ya ubora: Ikiwa usahihi wa juu unahitajika, inaweza kuhitajika kuwa na vifafanuzi vingi kwa kila PDF ili kuthibitisha ufafanuzi.
- Vizuizi vya Wakati: Ikiwa ufafanuzi unahitajika kukamilika haraka, wachambuzi zaidi watahitajika.
Kama mfano wa dhahania, tuseme mchambuzi anaweza kufafanua PDF 5 kwa siku kwa kazi fulani, na hufanya kazi siku 5 kwa wiki. Katika hali hii, ili kufafanua PDFs 10,000, mchambuzi mmoja angehitaji siku 2000, au takriban miaka 8.
Hata hivyo, ikiwa ungekuwa na timu ya wachambuzi 20, wangeweza kukamilisha kazi hiyo katika takriban miezi 5 (ikichukua siku 20 za kazi kwa mwezi). Kwa wachambuzi 100, kazi sawa inaweza kukamilika baada ya mwezi mmoja.
Kumbuka, nambari hizi ni za kielelezo tu na kasi halisi ya ufafanuzi itategemea mambo yaliyotajwa hapo juu. Zaidi ya hayo, mafunzo sahihi ya wachambuzi na udhibiti thabiti wa ubora ni muhimu kwa mafanikio ya mradi wowote wa kiwango kikubwa cha ufafanuzi.
