Mae'r rhan fwyaf o dimau sy'n hyfforddi neu'n mireinio model iaith yn taro'r un wal ar yr un pwynt. Mae'r corpora agored wedi blino. Mae'r deunydd wedi'i grafu yn amwys yn gyfreithiol. A'r peth y mae'r model waethaf ynddo - tafodiaith y Gwlff, adolygu cod ar ystorfa go iawn, rhesymu clinigol, strwythur sgript - yw'n union yr hyn nad yw unrhyw set ddata gyhoeddus yn ei gwmpasu'n iawn.
Dyna pam rydym wedi ehangu catalog data testun Shaip. Mae wyth categori o setiau data testun trwyddedig ar gyfer hyfforddiant AI ar gael nawr, pob un wedi'i gwmpasu, ei ddogfennu a'i baratoi i'w drwyddedu yn hytrach na'i gasglu ar gais.
Beth sydd ym mhob categori
Cipolwg ar y catalog:
| Categori | Graddfa pennawd | Ieithoedd / fformatau |
|---|---|---|
| Cwestiynau ac Atebion Sgwrsiol | ~172,000 o barau C&A a ysgrifennwyd gan bobl ar draws 8 set | Arabeg (MSA + 4 tafodiaith), Saesneg · .xlsx / JSON |
| Storfeydd cod | Corpws llinell o dros 50M, ynghyd â storfeydd cynhyrchu gyda hanes cysylltiadau cyhoeddus ac ymrwymiad llawn | 9 iaith ynghyd â fframweithiau — C#, React, TypeScript, Angular, Java, Go, PHP, Swift, BrightScript |
| Newyddion a newyddiaduraeth | Archif o 975,000 o erthyglau (~672.75M o eiriau, 1999 ymlaen) + ffrydiau byw | Saesneg, Sbaeneg, Arabeg · corpws a phorthiant cylchol |
| Cwestiynau ac Atebion Clinigol ac achosion | Haenau aur ac arian, cyfrolau wedi'u cwmpasu ar gais | Saesneg · .xlsx, PDF · dad-adnabod wedi'i gwmpasu yn |
| Corpora crai a gwe-raddfa | 20M o eiriau (~40M o docynnau) + 65,000 o awgrymiadau + 11,000 o awgrymiadau TTS | MSA Arabeg a thafodieithoedd · TXT / JSON / .xlsx |
| Dogfennau a thestun wedi'i sganio | 7,200 o ddogfennau Serbia · 5,000 o becynnau ffeilio treth yr Unol Daleithiau | Serbeg (Cyrilig + Lladin), Saesneg · PDF |
| Academaidd a chyhoeddwr | 1,328,228 o erthyglau cyfnodolion · 4,137 o deitlau llyfrau · 12 maes pwnc | Saesneg · Cyflwyno API |
| Adlonwyr wedi'u sgriptio | Sgriptiau o gatalog dros 90,000 awr, 9 genre | Saesneg · sgriptiau / trawsgrifiadau (testun) |
Data C&A sgwrsiol a chyfarwyddyd
Wyth set a ysgrifennwyd gan bobl yn cwmpasu Arabeg a Saesneg, o 10,000 o barau C&A ar amaethyddiaeth mewn Arabeg Safonol Fodern hyd at gasgliadau Sawdi a phan-Arabaidd o 30,000 pâr. Mae'r dafodiaith yn cwmpasu Sawdi, Emiradau Arabaidd Unedig, yr Eifft a'r Lefantin, gyda setiau parth ar gyfer STEM a bwyd. Mae popeth yn cael ei gludo fel .xlsx neu JSON gyda strwythur maes cyson, sy'n bwysicach nag y mae'n swnio: mae timau'n colli wythnos yn rheolaidd yn ailfformatio data cyfarwyddiadau cyn iddo gyrraedd piblinell mireinio. Mae manylebau llawn i'w gweld ar dudalen y set ddata C&A sgwrsiol.
Gwybod mwyStorfeydd cod a meddalwedd
Cronfeydd cod cynhyrchu ar draws C#, React, TypeScript, Angular, Java, Go, PHP, Swift, JavaScript a BrightScript. Mae gan sawl un eu hanes newid llawn — mae'r pen blaen IoT diwydiannol ar ei ben ei hun yn dal 141,471 o linellau ar draws 306 o geisiadau tynnu a 1,603 o ymrwymiadau. Mae corpws pwrpas cyffredinol dros 50 miliwn o linellau ar gyfer hyfforddi ymlaen llaw, a set o ddata ystorfa breifat perchnogol ar 8,632,700 o docynnau nad yw wedi ymddangos mewn deunydd hyfforddi cyhoeddus. Os ydych chi'n hyfforddi model adolygu cod, y dudalen set ddata cod yw'r un i'w darllen yn gyntaf.
Gwybod mwyNewyddion a thestun newyddiadurol
Archif Saesneg o 975,000 o erthyglau yn rhedeg o 1999, yn cario tagiau enw, dyddiad, pennawd, corff a phwnc o dan dacsonomeg reoledig o 2011 ymlaen. Mae porthwyr parhaus yn ychwanegu tua 30,000 o erthyglau Saesneg, 16,000 o erthyglau Sbaeneg a 12,775 o erthyglau Arabeg y flwyddyn. Archif ynghyd â phorthiant yw'r cyfuniad sy'n gwneud i resymu amserol a chynhyrchu estynedig trwy adfer weithio.
Gwybod mwyCwestiynau ac Atebion Clinigol a data achosion
Setiau cwestiynau ac atebion meddygol, crynodebau achosion clinigol ac erthyglau testun llawn, wedi'u rhannu'n haenau aur ac arian — aur yn cael ei ddal i safon adolygu uwch ar gyfer meincnodi, arian ar gyfer hyfforddiant swmp. Mae golygu, dad-adnabod a mwgwdio wedi'u cwmpasu fel rhan o'r ymgysylltiad yn hytrach na'u cymryd yn ganiataol.
Gwybod mwyTestun crai a chorpora ar raddfa we
Corpws Arabeg 20 miliwn o eiriau (~40M o docynnau) ar draws tafodieithoedd MSA a rhanbarthol, set o awgrymiadau Arabeg 65,000 o awgrymiadau ar gyfer timau sy'n cynhyrchu eu cwblhadau eu hunain, ac 11,000 o awgrymiadau sgript TTS Saudi.
Gwybod mwyDogfennau a thestun wedi'i sganio
7,200 o ddogfennau Serbeg go iawn mewn sgript Cyrilig a Lladin, a 5,000 o becynnau ffeilio treth wedi'u sganio o'r Unol Daleithiau. Y ddau mewn cynlluniau dilys ac ansawdd sgan dilys — nid rendradau synthetig, sef lle mae'r rhan fwyaf o fodelau dogfennau AI yn gor-ffitio'n dawel.
Gwybod mwyTestun academaidd a chyhoeddwr
1,328,228 o erthyglau cyfnodolion a 4,137 o deitlau llyfrau ar draws deuddeg maes pwnc gwyddorau ffisegol a pheirianneg, o seryddiaeth a biofeddygol i nanotechnoleg a gwyddoniaeth polymer, wedi'u cyflwyno trwy API.
Gwybod mwyAdloniant sgriptiedig a thestun naratif
Sgriptiau a thrawsgrifiadau wedi'u tynnu o gatalog o dros 90,000 awr o ffilmiau nodwedd, teledu, animeiddio a microdrama fertigol ar draws naw genre. Cadarnheir cyfaint y testun wrth bennu'r cwmpas, gan fod y ffigur oriau yn disgrifio'r llyfrgell fideo sylfaenol.
Gwybod mwyGweithio allan pa un o'r rhain sy'n addas i'ch rhediad hyfforddi?
Lle nad yw'r setiau data hyn yn addas
Yr ateb gonest yw nad data trwyddedig yw'r ateb bob amser. Os oes angen ymddygiad cul, perchnogol ar eich model sy'n bodoli o fewn eich cynnyrch eich hun yn unig, bydd casglu personol yn curo unrhyw gorff parod. Os oes angen unigrywiaeth arnoch, nodwch fod y rhain yn drwyddedau an-unigryw - gall eich cystadleuydd drwyddedu'r un deunydd. Ac anaml y bydd cyfaint yn unig yn trwsio model; yn ein gwaith cyflawni, y timau sy'n gwella gyflymaf yw'r rhai sy'n diagnosio'r modd methiant penodol yn gyntaf, yna'n prynu'n gul yn ei erbyn.
Sut gall Shaip helpu
Mae dod o hyd i destun hyfforddi sydd yn lân yn gyfreithiol ac wedi'i dargedu mewn gwirionedd at wendid eich model yn waith araf, ac mae'r rhan fwyaf o dimau'n ei danamcangyfrif. Mae arfer Catalogau Data a Thrwyddedu Shaip yn dileu'r cam hwnnw. Mae ein catalog data testun yn cynnig setiau data testun trwyddedig ar gyfer hyfforddiant AI ar draws yr wyth categori uchod, wedi'u cwmpasu i'ch prosiect yn ôl iaith, parth, cyfaint neu fformat, ac wedi'u cefnogi gan dimau casglu data ac anodi Shaip pan fydd angen ymestyn deunydd parod. Gellir trefnu samplau neu fynediad at werthuso cyn i chi drwyddedu, mae'r dosbarthiad yn rhedeg trwy ffeiliau strwythuredig, PDFs, porthwyr cylchol neu API, ac mae trin PII a PHI wedi'i gynnwys yn yr ymgysylltiad yn hytrach na'i adael i chi.
Ydych chi'n adeiladu cynorthwyydd Arabeg, model adolygu cod neu system resymu glinigol ac yn ansicr pa gorpws sy'n cau'ch bwlch mewn gwirionedd? Rhannwch eich gofynion a bydd ein tîm yn ei gwmpasu gyda chi.