Uchunguzi kifani: Mazungumzo AI
Zaidi ya saa 3k za Data Iliyokusanywa, Imegawanywa na Kunukuliwa ili kujenga ASR katika lugha 8 za Kihindi.
BHASHINI, jukwaa la kutafsiri lugha la India linaloendeshwa na AI, ni sehemu muhimu ya mpango wa Digital India.
Iliyoundwa ili kutoa zana za Uakili Bandia (AI) na Uchakataji wa Lugha Asilia (NLP) kwa MSMEs, waanzishaji na wavumbuzi huru, jukwaa la Bhashini hutumika kama rasilimali ya umma. Lengo lake ni kukuza ujumuishaji wa kidijitali kwa kuwezesha raia wa India kuingiliana na mipango ya kidijitali ya nchi katika lugha zao za asili.
Zaidi ya hayo, inalenga kupanua kwa kiasi kikubwa upatikanaji wa maudhui ya mtandao katika lugha za Kihindi. Hii inalengwa hasa katika maeneo yenye maslahi ya umma kama vile utawala na sera, sayansi na teknolojia, n.k. Kwa hivyo, hii itawapa wananchi motisha ya kutumia intaneti katika lugha yao wenyewe, na kukuza ushiriki wao kikamilifu.
Harness NLP kuwezesha mfumo wa ikolojia tofauti wa wachangiaji, vyombo washirika na raia kwa madhumuni ya kuvuka vizuizi vya lugha, na hivyo kuhakikisha ujumuishaji wa dijiti na uwezeshaji.
Suluhisho la Ulimwenguni
Kufungua Nguvu ya Ujanibishaji kwa Data
India ilihitaji jukwaa ambalo lingelenga zaidi kuunda hifadhidata za lugha nyingi na suluhu za teknolojia ya lugha inayotegemea AI ili kutoa huduma za kidijitali katika lugha za Kihindi. Ili kuzindua mpango huu, Taasisi ya Teknolojia ya India, Madras (IIT Madras) ilishirikiana na Shaip kukusanya, kugawanya na kunakili seti za data za lugha ya Kihindi ili kuunda miundo ya usemi wa lugha nyingi.
Changamoto
Ili kumsaidia mteja na ramani yake ya hotuba ya Teknolojia ya Usemi kwa lugha za Kihindi, timu ilihitaji kupata, kugawanya na kunakili idadi kubwa ya data ya mafunzo ili kuunda muundo wa AI. Mahitaji muhimu ya mteja yalikuwa:
Ukusanyaji wa Takwimu
- Pata saa 3000 za data ya mafunzo katika lugha 8 za Kihindi na lahaja 4 kwa kila lugha.
- Kwa kila lugha, mtoa huduma atakusanya Hotuba ya Extempore na
Hotuba ya Mazungumzo kutoka kwa Vikundi vya Umri wa miaka 18-60 - Hakikisha kuna mchanganyiko mbalimbali wa wazungumzaji kulingana na umri, jinsia, elimu na lahaja
- Hakikisha mchanganyiko tofauti wa mazingira ya kurekodi kulingana na Viagizo.
- Kila rekodi ya sauti itakuwa angalau 16kHz lakini ikiwezekana 44kHz
Ugawaji wa Takwimu
- Unda sehemu za hotuba za sekunde 15 na ugonge sauti kwa milisekunde kwa kila spika uliyopewa, aina ya sauti (hotuba, kubeba, muziki, kelele), zamu, matamshi na vifungu vya maneno kwenye mazungumzo.
- Unda kila sehemu kwa mawimbi yake ya sauti inayolengwa na pedi ya milisekunde 200-400 mwanzoni na mwisho.
- Kwa sehemu zote, vitu vifuatavyo lazima vijazwe yaani, Muda wa Kuanza, Muda wa Kuisha, Kitambulisho cha Sehemu, Kiwango cha Sauti, Aina ya Sauti, Msimbo wa Lugha, Kitambulisho cha Spika, n.k.
Uandishi wa Takwimu
- Fuata maelezo ya miongozo ya unukuzi kuhusu Herufi na Alama Maalum, Tahajia na Sarufi, Herufi kubwa, Vifupisho, Minyunyuko, Herufi Zinazotamkwa za Mtu Binafsi, Nambari, Maandishi, Vifupisho, Visivyoeleweka, Hotuba, Lugha Zisizoeleweka, Lugha Zisizolengwa, Lugha Isiyokuwa na Usemi n.k.
Ukaguzi wa Ubora na Maoni
- Rekodi zote za kutathmini ubora na uthibitishaji, ni hotuba iliyoidhinishwa pekee itakayotolewa
Suluhisho
Kwa uelewa wetu wa kina wa AI ya mazungumzo, tulimsaidia mteja kukusanya, kugawanya na kunakili data na timu ya wakusanyaji wataalamu, wanaisimu na wafafanuzi ili kuunda mkusanyiko mkubwa wa mkusanyiko wa sauti katika lugha 8 za Kihindi.
Upeo wa kazi ya Shaip ulijumuisha lakini haukuwa mdogo tu katika kupata kiasi kikubwa cha data ya mafunzo ya sauti, kugawanya rekodi za sauti katika nyingi, kunakili data na kuwasilisha faili zinazolingana za JSON zilizo na metadata [Kitambulisho cha Spika, Umri, Jinsia, Lugha, Lahaja,
Lugha ya Mama, Sifa, Kazi, Kikoa, Umbizo la Faili, Masafa, Idhaa, Aina ya Sauti, Nambari ya wazungumzaji, Nambari ya Lugha za Kigeni, Mipangilio iliyotumika, Narrowband au Wideband audio, n.k.].
Shaip alikusanya saa 3000 za data ya sauti kwa kiwango kikubwa huku akidumisha viwango vinavyohitajika vya ubora vinavyohitajika ili kutoa mafunzo kwa teknolojia ya usemi kwa miradi changamano. Fomu ya Ridhaa ya Dhahiri ilichukuliwa kutoka kwa kila mshiriki.
1. Ukusanyaji wa Takwimu
2. Ugawaji wa Data
- Data ya sauti iliyokusanywa iligawanywa mara mbili katika sehemu za hotuba za sekunde 15 kila moja na kupigwa muhuri wa nyakati kwa milisekunde kwa kila spika, aina ya sauti, zamu, vitamkwa na vifungu vya maneno katika mazungumzo.
- Imeunda kila sehemu kwa mawimbi yake ya sauti inayolengwa na pedi ya milisekunde 200-400 mwanzoni na mwisho wa mawimbi ya sauti.
- Kwa sehemu zote, vitu vifuatavyo vilikuwepo na kujazwa yaani, Wakati wa Kuanza, Wakati wa Kuisha, Kitambulisho cha Sehemu, Kiwango cha Sauti (Sauti, Kawaida, Utulivu), Aina ya Sauti Msingi (Hotuba, Kubwabwaja, Muziki, Kelele, Kuingiliana), Kitambulisho cha Msemaji wa Msimbo wa Lugha, Unukuzi n.k.
3. Ukaguzi wa Ubora na Maoni
- Rekodi zote zilitathminiwa kwa ubora na rekodi za hotuba zilizoidhinishwa tu na WER ya 90% na TER ya 90% ziliwasilishwa.
- Orodha ya Ubora Inayofuatwa:
» Upeo wa sekunde 15 za urefu wa sehemu
» Unukuzi kutoka vikoa maalum, yaani: Hali ya hewa, aina tofauti za habari, afya, kilimo, elimu, kazi au fedha
» Kelele ya chinichini
»Hakuna klipu ya sauti iliyozimwa - Hakuna upotoshaji
» Sahihisha sehemu za sauti kwa unukuzi
4. Unukuzi wa Data
Maneno yote yaliyotamkwa, ikiwa ni pamoja na kusitasita, maneno ya kujaza, kuanza kwa uwongo na maneno mengine ya matamshi, yalinaswa kwa usahihi katika manukuu. Pia tulifuata maelezo ya miongozo ya unukuzi kuhusu herufi kubwa na ndogo, tahajia, herufi kubwa, vifupisho, ufupisho, nambari,
alama za uakifishaji, Vifupisho, Hotuba isiyoeleweka, kelele zisizo za usemi n.k. Zaidi ya hayo, Mtiririko wa Kazi unaofuatwa kwa Ukusanyaji na Unukuzi ni kama ufuatao:
Matokeo
Data ya sauti ya ubora wa juu kutoka kwa wataalamu wa lugha itawezesha Taasisi ya Teknolojia ya India - Madras, kutoa mafunzo kwa usahihi na kujenga miundo ya Utambuzi wa Usemi wa lugha nyingi katika lugha 8 za Kihindi zenye lahaja tofauti katika muda uliowekwa. Mitindo ya utambuzi wa Usemi inaweza kutumika:
- Shinda kikwazo cha lugha cha kujumuishwa kidijitali kwa kuwaunganisha wananchi na mipango katika lugha yao mama.
- Inakuza Utawala wa Kidijitali
- Kichocheo cha kuunda mfumo ikolojia wa huduma na bidhaa katika lugha za Kihindi
- Maudhui zaidi ya kidijitali yaliyojanibishwa katika nyanja za maslahi ya umma, hasa, utawala na sera
Tulivutiwa na utaalam wa Shaip katika nafasi ya mazungumzo ya AI. Umahiri wao wa jumla wa utekelezaji wa mradi kutokana na kutafuta, kugawanya, kunakili na kutoa data inayohitajika ya mafunzo kutoka kwa wataalamu wa lugha katika lugha 8 ndani ya muda na miongozo mikali; huku bado tukidumisha kiwango kinachokubalika cha ubora.”
Wateja Walioangaziwa
Kuwezesha timu kujenga bidhaa zinazoongoza ulimwenguni za AI.