AI ya Mazungumzo: Utambuzi wa Usemi Kiotomatiki
Zaidi ya saa 8k za Sauti Zimekusanywa, Saa 800 Zimenakiliwa kwa Teknolojia ya Sauti kwa Lugha Nyingi
kuanzishwa
India ilihitaji jukwaa ambalo linalenga katika kuunda hifadhidata za lugha nyingi na suluhu za teknolojia ya lugha inayotegemea AI ili kutoa huduma za kidijitali katika lugha za Kihindi. Ili kuzindua mpango huu, Mteja alishirikiana na Shaip kukusanya, na kunakili lugha ya Kihindi ili kuunda miundo ya usemi wa lugha nyingi.
Kiasi
Changamoto
Ili kumsaidia mteja na ramani yake ya hotuba ya Teknolojia ya Usemi kwa lugha za Kihindi, timu ilihitaji kupata, kugawanya na kunakili idadi kubwa ya data ya mafunzo ili kuunda muundo wa AI. Mahitaji muhimu ya mteja yalikuwa:
Ukusanyaji wa Takwimu
- Pata saa 8000 za data ya mafunzo kutoka maeneo ya mbali ya India
- Mtoa huduma atakusanya hotuba ya Papohapo kutoka kwa Vikundi vya Umri vya miaka 20-70
- Hakikisha mchanganyiko tofauti wa wazungumzaji kulingana na umri, jinsia, elimu na lahaja
- Kila rekodi ya sauti itakuwa angalau 16kHz na biti 16/sampuli.
Uandishi wa Takwimu
Fuata maelezo ya miongozo ya unukuzi kuhusu Herufi na Alama Maalum, Tahajia na Sarufi, Uandikaji Mkubwa, Vifupisho, Mikato, Herufi Zinazotamkwa za Mtu Binafsi, Nambari, Alama, Vifupisho na Alama za Awali, Hotuba ya Ufasaha, Hotuba Isiyoeleweka, Lugha Zisizolengwa, Lugha Isiyolengwa.
Ukaguzi wa Ubora na Maoni
Rekodi zote za kutathmini ubora na uthibitishaji, rekodi za hotuba zilizoidhinishwa pekee ndizo zitakazowasilishwa
Suluhisho
Kwa uelewa wetu wa kina wa AI ya mazungumzo, tulimsaidia mteja kukusanya, kunakili data ya sauti na timu ya wakusanyaji wataalamu, wataalamu wa lugha na wachambuzi ili kuunda mkusanyiko mkubwa wa data ya sauti kutoka sehemu za mbali za India.
Upeo wa kazi ya Shaip ulijumuisha lakini haukuwa mdogo tu katika kupata data nyingi za mafunzo ya sauti, kunakili data na kuwasilisha faili zinazolingana za JSON zilizo na metadata [kwa wasemaji na wanukuzi. Kwa kila mzungumzaji, metadata inajumuisha Kitambulisho cha Spika ambacho hakikutambulisha, maelezo ya kifaa, maelezo ya demografia kama vile jinsia, umri na elimu, pamoja na siri, hali ya kijamii na kiuchumi, lugha zinazozungumzwa na rekodi ya muda wa kukaa katika maisha yake. Kwa kila anayenukuu, data hujumuisha Kitambulisho cha Kinakili kisichojulikana, maelezo ya demografia sawa na ya wasemaji, muda wa uzoefu wao wa unukuzi, na uchanganuzi wa kina wa lugha anazoweza kusoma, kuandika na kuzungumza.
Shaip iliyokusanywa 8000 saa za data ya sauti / Hotuba ya moja kwa moja kwa kiwango na kunukuliwa kwa saa 800 huku ikidumisha viwango vinavyohitajika vya ubora vinavyohitajika ili kutoa mafunzo kwa teknolojia ya matamshi kwa miradi changamano. Fomu ya Kibali ya Dhahiri ilichukuliwa kutoka kwa kila mshiriki. Hotuba/Hotuba ya papohapo iliyokusanywa ilitokana na picha zilizotolewa na Chuo Kikuu. Ya 3500 Picha, 1000 ni generic na 2500 inahusiana na tamaduni mahususi za wilaya, sherehe n.k. Picha zinaonyesha vikoa mbalimbali kama vile vituo vya treni, masoko, hali ya hewa na zaidi.
Ukusanyaji wa Takwimu
| Hali | Wilaya | Sauti Saa | transcription (Saa) |
| Bihar | Saran, Champaran Mashariki, Gopalganj, Sitamarhi, Samastipur, Darbhanga, Madhepura, Bhagalpur, Gaya, Kishanganj, Vaishali, Lakhisarai, Saharsa, Supaul, Araria, Begusarai, Jahanabad, Purnia, Muzaffarpur, Jamui | 2000 | 200 |
| Uttarpradesh | Deoria, Varanasi, Gorakhpur, Ghazipur, Muzzaafarnagar, Etah, Hamirpur, Jyotiba Phule Nagar, Budaun, Jalaun | 1000 | 100 |
| Rajasthan | Nagaur, Churu | 200 | 20 |
| Uttarakhand | Tehri Garhwal, Uttarkashi | 200 | 20 |
| Chhattisgarh | Bilaspur, Raigarh, Kabirdham, Sarguja, Korba, Jashpur, Rajnandgaon, Balrampur, Bastar, Sukma | 1000 | 100 |
| Magharibi Tanzania | Paschim Medinipur, Malda, Jalpaiguri, Purulia, Kolkatta, Jhargram, North 24 Parganas, Dakshin Dinajpur | 800 | 80 |
| Jharkhand | Sahebganj, Jamtara | 200 | 20 |
| AP | Guntur, Chittoor, Visakhapatnam, Krishna, Anantapur, Srikakulam | 600 | 60 |
| Telangana | Karimnagar, Nalgonda | 200 | 20 |
| Goa | Kaskazini+Goa Kusini | 100 | 10 |
| Karnataka | Dakshin Kannada, Gulbarga, Dharwad, Bellary, Mysore, Shimoga, Bijapur, Belgaum, Raichur, Chamrajnagar | 1000 | 100 |
| Maharashtra | Sindhudurg, Dhule, Nagpur, Pune, Aurangabad, Chandrpur, Solapur | 700 | 70 |
| Jumla | 8000 | 800 | |
Miongozo ya Jumla
format
- Sauti kwa 16 kHz, biti 16/sampuli.
- Kituo kimoja.
- Sauti mbichi bila kupitisha msimbo.
Mtindo
- Hotuba ya hiari.
- Sentensi kulingana na picha zinazotolewa na Chuo Kikuu. Kati ya picha 3500, 1000 ni za jumla na 2500 zinahusiana na tamaduni mahususi za wilaya, sherehe n.k. Picha zinaonyesha vikoa mbalimbali kama vile vituo vya treni, soko, hali ya hewa na zaidi.
Mandharinyuma ya Kurekodi
- Imerekodiwa katika mazingira tulivu, yasiyo na mwangwi.
- Hakuna usumbufu kwenye simu mahiri (mtetemo au arifa) wakati wa kurekodi.
- Hakuna upotoshaji kama vile kunakili au athari za uwanda wa mbali.
- Vibrations kutoka kwa simu haikubaliki; mitetemo ya nje inaweza kuvumiliwa ikiwa sauti iko wazi.
Ufafanuzi wa Spika
- Umri kati ya miaka 20-70 na usambazaji wa kijinsia uliosawazishwa kwa kila wilaya.
- Kiwango cha chini cha wazungumzaji 400 katika kila wilaya.
- Wazungumzaji watumie lugha/lahaja zao za nyumbani.
- Fomu za idhini ni za lazima kwa washiriki wote.
Ukaguzi wa Ubora na Uhakikisho Muhimu wa Ubora
Mchakato wa QA unatanguliza uhakikisho wa ubora wa rekodi za sauti na manukuu. Viwango vya sauti huzingatia ukimya mahususi, muda wa sehemu, uwazi wa mzungumzaji mmoja na metadata ya kina ikijumuisha umri na hali ya kijamii na kiuchumi. Vigezo vya unukuzi vinasisitiza usahihi wa lebo, usahihi wa maneno na maelezo sahihi ya sehemu. Alama ya kukubalika inaelekeza kwamba ikiwa zaidi ya 20% ya kundi la sauti itafeli viwango hivi, itakataliwa. Kwa tofauti za chini ya 20%, rekodi za uingizwaji zilizo na wasifu sawa zinahitajika.
Uandishi wa Takwimu
Miongozo ya unukuzi inasisitiza usahihi na unukuzi wa neno moja tu wakati maneno yako wazi na yanaeleweka; maneno yasiyoeleweka huwekwa alama kama [isiyoeleweka] au [isiyosikika] kulingana na suala hilo. Mipaka ya sentensi katika sauti ndefu imewekwa alama , na hakuna kufafanua au kusahihisha makosa ya kisarufi kunaruhusiwa. Unukuzi Verbatim hujumuisha makosa, misimu na marudio lakini huacha vianzio visivyo vya kweli, sauti za vijazaji na vigugumizi. Kelele za mandharinyuma na za mandharinyuma hunakiliwa kwa lebo za maelezo, huku majina, mada na nambari zinazofaa zinafuata sheria mahususi za unukuzi. Lebo za wazungumzaji hutumika kwa kila sentensi, na sentensi zisizo kamili zinaonyeshwa.
Mtiririko wa kazi wa mradi
Mtiririko wa kazi unaelezea mchakato wa unukuzi wa sauti. Huanza na upandaji na washiriki wa mafunzo. Wanarekodi sauti kwa kutumia programu, ambayo inapakiwa kwenye jukwaa la QA. Sauti hii hukaguliwa ubora na kugawanywa kiotomatiki. Timu ya teknolojia kisha hutayarisha sehemu za unukuu. Baada ya kunukuu mwenyewe, kuna hatua ya uhakikisho wa ubora. Nakala huwasilishwa kwa mteja, na ikikubaliwa, uwasilishaji unachukuliwa kuwa umekamilika. Ikiwa sivyo, marekebisho yanafanywa kulingana na maoni ya mteja.
Matokeo
Data ya sauti ya ubora wa juu kutoka kwa wataalamu wa lugha itamwezesha mteja wetu kutoa mafunzo kwa usahihi na kuunda miundo ya Utambuzi wa Usemi wa lugha nyingi katika lugha mbalimbali za Kihindi na lahaja tofauti kwa wakati uliowekwa. Mitindo ya utambuzi wa Usemi inaweza kutumika:
- Shinda kikwazo cha lugha cha kujumuishwa kidijitali kwa kuwaunganisha wananchi na mipango katika lugha yao mama.
- Inakuza Utawala wa Kidijitali
- Kichocheo cha kuunda mfumo ikolojia wa huduma na bidhaa katika lugha za Kihindi
- Maudhui zaidi ya kidijitali yaliyojanibishwa katika nyanja za maslahi ya umma, hasa, utawala na sera
Tunashangazwa na utaalam wa Shaip katika eneo la mazungumzo la AI. Jukumu la kushughulikia saa 8000 za data ya sauti pamoja na saa 800 za unukuzi katika wilaya 80 mbalimbali lilikuwa kubwa, kusema kidogo zaidi. Ilikuwa ni ufahamu wa kina wa Shaip wa maelezo tata na nuances ya kikoa hiki ndiyo iliyofanikisha utekelezaji wa mradi huo wenye changamoto. Uwezo wao wa kudhibiti na kusogeza kwa urahisi kupitia utata wa kiasi hiki kikubwa cha data huku wakihakikisha ubora wa hali ya juu unastahili kupongezwa.
