Sut y Cyflwynodd Shaip Raglen Gwerthuso Ansawdd Clonio Llais Graddadwy ar gyfer Cleient Lleferydd AI
O ansawdd demo i barod ar gyfer defnydd — sut y gwnaeth gwerthusiad dynol strwythuredig helpu cleient lleferydd AI i gau'r bwlch rhwng metrigau labordy a pherfformiad yn y byd go iawn.
Trosolwg o'r Prosiect
Gall modelau clonio llais swnio'n drawiadol mewn demos ond dal i gael trafferth mewn defnydd go iawn. Roedd angen ffordd ddibynadwy ar y cleient i fesur a oedd eu model yn gwella mewn gwirionedd – yn enwedig ar gyfer Saesneg Indiaidd, a oedd yn farchnad flaenoriaeth i'w defnyddio.
Cafodd Shaip ei gyflogi i ddylunio a rheoli rhaglen werthuso ddynol a allai ateb tri chwestiwn busnes allweddol:
- Ydy'r araith yn swnio'n naturiol?
- Ydy o'n dal i swnio fel y siaradwr gwreiddiol?
- A yw'n ddigon diogel a dibynadwy i'w ddefnyddio mewn cynhyrchiad?
Yn hytrach na dibynnu ar fetrigau awtomataidd yn unig, defnyddiodd y prosiect adolygwyr dynol hyfforddedig i werthuso allbynnau sain go iawn a nodi lle'r oedd y model yn dal i fethu.
Metrigau Allweddol y Set Data
Defnyddiwch Achos
Asesiad Ansawdd Clonio Llais
Hyd y Prosiect
Wythnosau 12
Samplau a Adolygwyd
12,400 o Glipiau Sain Syntheseiddiedig
Anodyddion wedi'u Defnyddio
48 o Werthwyr Saesneg Hyfforddedig
Heriau wrth Asesu TTS ac Ansawdd Clonio Llais
- Roedd angen i'r model weithio'n dda ar draws acenion Saesneg lluosog, yn enwedig Saesneg Indiaidd.
- Roedd rhaid i ansawdd sain wella mewn ffyrdd sy'n bwysig i ddefnyddwyr terfynol, nid dim ond o ran metrigau labordy.
- Roedd angen ffordd glir ar y tîm i nodi beth oedd yn mynd o'i le yn yr allbwn lleferydd.
- Weithiau byddai clipiau sain hir yn colli hunaniaeth y siaradwr gwreiddiol dros amser.
- Roedd angen sieciau ar y cleient hefyd ar gyfer diogelwch, risg dynwared, a phresenoldeb dyfrnod.
Datrysiad: Fframwaith Gwerthuso Dynol ar gyfer Ansawdd Llais AI
Strategaeth Werthuso
Adeiladodd Shaip fframwaith adolygu strwythuredig i asesu naturioldeb, eglurder, tebygrwydd lleisiau, cysondeb a diogelwch.
Adolygiad Dynol ar Raddfa
Adolygodd 48 o werthuswyr hyfforddedig 12,400 o samplau sain ar draws Saesneg Indiaidd, Saesneg Americanaidd Niwtral, ac is-drac Hinglish.
Asesiad Tair Rhan
- Rhoddodd adolygwyr sgôr i ba mor naturiol a dealladwy oedd pob clip yn swnio.
- Fe wnaethon nhw gymharu parau o glipiau i nodi pa fersiwn oedd yn well.
- Fe wnaethon nhw dagio problemau ansawdd cylchol fel rhythm annaturiol, problemau traw, a drifft siaradwyr.
Rheoli Ansawdd
Defnyddiodd Shaip dasgau calibradu, gwiriadau safon aur, adolygiadau ailadroddus, a monitro sicrhau ansawdd i gadw sgorio'n gyson ac yn ddibynadwy.
Dolen Adborth Weithredol
Cafodd canfyddiadau o bob sbrint eu bwydo'n ôl i broses diwnio'r cleient, gan helpu'r model i wella dros sawl rownd.
Cwmpas y Prosiect: Ieithoedd, Acenion a Chwmpas Adolygiadau
| Ardal | Cwmpas |
|---|---|
| iaith | Saesneg |
| Acenion Blaenoriaeth | Saesneg Indiaidd, Saesneg Americanaidd Niwtral |
| Yswiriant Eilaidd | Is-drac Saesneg Prydeinig, Hinglish |
| Mathau Sampl | Clipiau cyfeirio byr, samplau ychydig o ergydion, araith hir |
| Allbwn Adolygu | Graddfeydd ansawdd, labeli dewis, tagio problemau |
| Hyd Ymgysylltu | Wythnos 12 |
Canlyniadau: Gwelliannau Mesuradwy mewn Clonio Llais
- Gwelliant clir yn ansawdd y llais: Gwellodd sgôr ansawdd cyffredinol y model o 3.41 i 4.12, gan ddangos bod lleferydd wedi dod yn fwy naturiol ac yn barod ar gyfer cynhyrchu.
- Gwell cyfatebiaeth siaradwyr: Daeth y system yn llawer gwell wrth gadw llais y siaradwr gwreiddiol, gan wella tebygrwydd o 0.71 i 0.87.
- Llai o wallau amlwg: Gostyngodd problemau lleferydd o 31% o samplau ar y llinell sylfaen i 11% erbyn y sbrint terfynol.
- Deallusrwydd cryf: Cyrhaeddodd cyfradd gwallau geiriau terfynol ar gyfer Saesneg Indiaidd 4.8%, gan guro'r trothwy targed.
- Parodrwydd i ddefnyddio’n fwy diogel: Cadarnhaodd y gwerthusiad hefyd berfformiad cryf ar wiriadau diogelwch allweddol, gan gynnwys sgrinio risg dynwared a gwirio dyfrnod.
Fe wnaeth Shaip ein helpu i droi ansawdd sain goddrychol yn rhaglen gwella mesuradwy. Rhoddodd eu fframwaith gwerthuso arwyddion clir inni ynglŷn â beth i'w drwsio, ble i wella, a sut i symud yn agosach at gynhyrchu gyda hyder.
