Setiau Data Testun

Mae Setiau Data Testun Newydd Nawr yn Fyw yng Nghatalog Data Shaip

Mae'r rhan fwyaf o dimau sy'n hyfforddi neu'n mireinio model iaith yn taro'r un wal ar yr un pwynt. Mae'r corpora agored wedi blino. Mae'r deunydd wedi'i grafu yn amwys yn gyfreithiol. A'r peth y mae'r model waethaf ynddo - tafodiaith y Gwlff, adolygu cod ar ystorfa go iawn, rhesymu clinigol, strwythur sgript - yw'n union yr hyn nad yw unrhyw set ddata gyhoeddus yn ei gwmpasu'n iawn.

Dyna pam rydym wedi ehangu catalog data testun Shaip. Mae wyth categori o setiau data testun trwyddedig ar gyfer hyfforddiant AI ar gael nawr, pob un wedi'i gwmpasu, ei ddogfennu a'i baratoi i'w drwyddedu yn hytrach na'i gasglu ar gais.

Beth sydd ym mhob categori

Cipolwg ar y catalog:

Categori Graddfa pennawd Ieithoedd / fformatau
Cwestiynau ac Atebion Sgwrsiol ~172,000 o barau C&A a ysgrifennwyd gan bobl ar draws 8 set Arabeg (MSA + 4 tafodiaith), Saesneg · .xlsx / JSON
Storfeydd cod Corpws llinell o dros 50M, ynghyd â storfeydd cynhyrchu gyda hanes cysylltiadau cyhoeddus ac ymrwymiad llawn 9 iaith ynghyd â fframweithiau — C#, React, TypeScript, Angular, Java, Go, PHP, Swift, BrightScript
Newyddion a newyddiaduraeth Archif o 975,000 o erthyglau (~672.75M o eiriau, 1999 ymlaen) + ffrydiau byw Saesneg, Sbaeneg, Arabeg · corpws a phorthiant cylchol
Cwestiynau ac Atebion Clinigol ac achosion Haenau aur ac arian, cyfrolau wedi'u cwmpasu ar gais Saesneg · .xlsx, PDF · dad-adnabod wedi'i gwmpasu yn
Corpora crai a gwe-raddfa 20M o eiriau (~40M o docynnau) + 65,000 o awgrymiadau + 11,000 o awgrymiadau TTS MSA Arabeg a thafodieithoedd · TXT / JSON / .xlsx
Dogfennau a thestun wedi'i sganio 7,200 o ddogfennau Serbia · 5,000 o becynnau ffeilio treth yr Unol Daleithiau Serbeg (Cyrilig + Lladin), Saesneg · PDF
Academaidd a chyhoeddwr 1,328,228 o erthyglau cyfnodolion · 4,137 o deitlau llyfrau · 12 maes pwnc Saesneg · Cyflwyno API
Adlonwyr wedi'u sgriptio Sgriptiau o gatalog dros 90,000 awr, 9 genre Saesneg · sgriptiau / trawsgrifiadau (testun)

Data C&A sgwrsiol a chyfarwyddyd

Wyth set a ysgrifennwyd gan bobl yn cwmpasu Arabeg a Saesneg, o 10,000 o barau C&A ar amaethyddiaeth mewn Arabeg Safonol Fodern hyd at gasgliadau Sawdi a phan-Arabaidd o 30,000 pâr. Mae'r dafodiaith yn cwmpasu Sawdi, Emiradau Arabaidd Unedig, yr Eifft a'r Lefantin, gyda setiau parth ar gyfer STEM a bwyd. Mae popeth yn cael ei gludo fel .xlsx neu JSON gyda strwythur maes cyson, sy'n bwysicach nag y mae'n swnio: mae timau'n colli wythnos yn rheolaidd yn ailfformatio data cyfarwyddiadau cyn iddo gyrraedd piblinell mireinio. Mae manylebau llawn i'w gweld ar dudalen y set ddata C&A sgwrsiol.

Gwybod mwy

Storfeydd cod a meddalwedd

Cronfeydd cod cynhyrchu ar draws C#, React, TypeScript, Angular, Java, Go, PHP, Swift, JavaScript a BrightScript. Mae gan sawl un eu hanes newid llawn — mae'r pen blaen IoT diwydiannol ar ei ben ei hun yn dal 141,471 o linellau ar draws 306 o geisiadau tynnu a 1,603 o ymrwymiadau. Mae corpws pwrpas cyffredinol dros 50 miliwn o linellau ar gyfer hyfforddi ymlaen llaw, a set o ddata ystorfa breifat perchnogol ar 8,632,700 o docynnau nad yw wedi ymddangos mewn deunydd hyfforddi cyhoeddus. Os ydych chi'n hyfforddi model adolygu cod, y dudalen set ddata cod yw'r un i'w darllen yn gyntaf.

Gwybod mwy

Newyddion a thestun newyddiadurol

Archif Saesneg o 975,000 o erthyglau yn rhedeg o 1999, yn cario tagiau enw, dyddiad, pennawd, corff a phwnc o dan dacsonomeg reoledig o 2011 ymlaen. Mae porthwyr parhaus yn ychwanegu tua 30,000 o erthyglau Saesneg, 16,000 o erthyglau Sbaeneg a 12,775 o erthyglau Arabeg y flwyddyn. Archif ynghyd â phorthiant yw'r cyfuniad sy'n gwneud i resymu amserol a chynhyrchu estynedig trwy adfer weithio.

Gwybod mwy

Cwestiynau ac Atebion Clinigol a data achosion

Setiau cwestiynau ac atebion meddygol, crynodebau achosion clinigol ac erthyglau testun llawn, wedi'u rhannu'n haenau aur ac arian — aur yn cael ei ddal i safon adolygu uwch ar gyfer meincnodi, arian ar gyfer hyfforddiant swmp. Mae golygu, dad-adnabod a mwgwdio wedi'u cwmpasu fel rhan o'r ymgysylltiad yn hytrach na'u cymryd yn ganiataol.

Gwybod mwy

Testun crai a chorpora ar raddfa we

Corpws Arabeg 20 miliwn o eiriau (~40M o docynnau) ar draws tafodieithoedd MSA a rhanbarthol, set o awgrymiadau Arabeg 65,000 o awgrymiadau ar gyfer timau sy'n cynhyrchu eu cwblhadau eu hunain, ac 11,000 o awgrymiadau sgript TTS Saudi.

Gwybod mwy

Dogfennau a thestun wedi'i sganio

7,200 o ddogfennau Serbeg go iawn mewn sgript Cyrilig a Lladin, a 5,000 o becynnau ffeilio treth wedi'u sganio o'r Unol Daleithiau. Y ddau mewn cynlluniau dilys ac ansawdd sgan dilys — nid rendradau synthetig, sef lle mae'r rhan fwyaf o fodelau dogfennau AI yn gor-ffitio'n dawel.

Gwybod mwy

Testun academaidd a chyhoeddwr

1,328,228 o erthyglau cyfnodolion a 4,137 o deitlau llyfrau ar draws deuddeg maes pwnc gwyddorau ffisegol a pheirianneg, o seryddiaeth a biofeddygol i nanotechnoleg a gwyddoniaeth polymer, wedi'u cyflwyno trwy API.

Gwybod mwy

Adloniant sgriptiedig a thestun naratif

Sgriptiau a thrawsgrifiadau wedi'u tynnu o gatalog o dros 90,000 awr o ffilmiau nodwedd, teledu, animeiddio a microdrama fertigol ar draws naw genre. Cadarnheir cyfaint y testun wrth bennu'r cwmpas, gan fod y ffigur oriau yn disgrifio'r llyfrgell fideo sylfaenol.

Gwybod mwy

Gweithio allan pa un o'r rhain sy'n addas i'ch rhediad hyfforddi?

Lle nad yw'r setiau data hyn yn addas

Yr ateb gonest yw nad data trwyddedig yw'r ateb bob amser. Os oes angen ymddygiad cul, perchnogol ar eich model sy'n bodoli o fewn eich cynnyrch eich hun yn unig, bydd casglu personol yn curo unrhyw gorff parod. Os oes angen unigrywiaeth arnoch, nodwch fod y rhain yn drwyddedau an-unigryw - gall eich cystadleuydd drwyddedu'r un deunydd. Ac anaml y bydd cyfaint yn unig yn trwsio model; yn ein gwaith cyflawni, y timau sy'n gwella gyflymaf yw'r rhai sy'n diagnosio'r modd methiant penodol yn gyntaf, yna'n prynu'n gul yn ei erbyn.

Sut gall Shaip helpu

Mae dod o hyd i destun hyfforddi sydd yn lân yn gyfreithiol ac wedi'i dargedu mewn gwirionedd at wendid eich model yn waith araf, ac mae'r rhan fwyaf o dimau'n ei danamcangyfrif. Mae arfer Catalogau Data a Thrwyddedu Shaip yn dileu'r cam hwnnw. Mae ein catalog data testun yn cynnig setiau data testun trwyddedig ar gyfer hyfforddiant AI ar draws yr wyth categori uchod, wedi'u cwmpasu i'ch prosiect yn ôl iaith, parth, cyfaint neu fformat, ac wedi'u cefnogi gan dimau casglu data ac anodi Shaip pan fydd angen ymestyn deunydd parod. Gellir trefnu samplau neu fynediad at werthuso cyn i chi drwyddedu, mae'r dosbarthiad yn rhedeg trwy ffeiliau strwythuredig, PDFs, porthwyr cylchol neu API, ac mae trin PII a PHI wedi'i gynnwys yn yr ymgysylltiad yn hytrach na'i adael i chi.

Ydych chi'n adeiladu cynorthwyydd Arabeg, model adolygu cod neu system resymu glinigol ac yn ansicr pa gorpws sy'n cau'ch bwlch mewn gwirionedd? Rhannwch eich gofynion a bydd ein tîm yn ei gwmpasu gyda chi.

Mwynhaodd yr erthygl hon? Dilynwch Shaip ar LinkedIn am fwy o ddiweddariadau.

Cyfran Gymdeithasol