Cydnabod Endid a Enwyd (NER)

Beth yw Cydnabod Endid a Enwir (NER) - Enghraifft, Achosion Defnydd, Manteision a Heriau

Bob tro rydyn ni'n clywed gair neu'n darllen testun, mae gennym ni'r gallu naturiol i adnabod a chategoreiddio'r gair yn bobl, lle, lleoliad, gwerthoedd, a mwy. Gall bodau dynol adnabod gair yn gyflym, ei gategoreiddio a deall y cyd-destun. Er enghraifft, pan glywch y gair 'Steve Jobs,' gallwch feddwl ar unwaith am o leiaf tair i bedair nodwedd a gwahanu'r endid yn gategorïau,

  • Person: Steve Jobs
  • Cwmni: Afal
  • Lleoliad: California

Gan nad oes gan gyfrifiaduron y gallu naturiol hwn, mae angen ein help ni arnynt i adnabod geiriau neu destun a'u categoreiddio. Mae'n lle Cydnabod Endid a Enwyd (NER) yn dod i chwarae.

Gadewch i ni gael dealltwriaeth gryno o NER a'i berthynas â NLP.

Beth yw Cydnabod Endid a Enwir?

Mae Cydnabod Endid a Enwir yn rhan o Brosesu Iaith Naturiol. Prif amcan NER yw prosesu data strwythuredig a distrwythur a dosbarthu'r endidau hyn a enwir yn gategorïau rhagnodedig. Mae rhai categorïau cyffredin yn cynnwys enw, lleoliad, cwmni, amser, gwerthoedd ariannol, digwyddiadau, a mwy.

Yn gryno, mae NER yn delio â:

  • Adnabod/canfod endid a enwir – Adnabod gair neu gyfres o eiriau mewn dogfen.
  • Dosbarthiad endid a enwir - Dosbarthu pob endid a ganfyddir yn gategorïau rhagnodedig.

Ond sut mae NER yn gysylltiedig â NLP?

Mae prosesu Iaith Naturiol yn helpu i ddatblygu peiriannau deallus sy'n gallu tynnu ystyr o leferydd a thestun. Mae Machine Learning yn helpu'r systemau deallus hyn i barhau i ddysgu trwy hyfforddi ar lawer iawn o iaith naturiol setiau data.

Yn gyffredinol, mae NLP yn cynnwys tri phrif gategori:

  • Deall strwythur a rheolau'r iaith - Cystrawen
  • Darganfod ystyr geiriau, testun, a lleferydd a nodi eu perthnasoedd - Semanteg
  • Adnabod ac adnabod geiriau llafar a'u trawsnewid yn destun —Araith

Mae NER yn helpu yn rhan semantig NLP, gan dynnu ystyr geiriau, eu hadnabod a'u lleoli yn seiliedig ar eu perthnasoedd.

Enghreifftiau o Gydnabod Endid a Enwir

Rhai o'r enghreifftiau cyffredin o ragderfynedig categoreiddio endid yw:

Enghreifftiau o ner

Apple: wedi'i labelu fel ORG (Sefydliad) a'i amlygu mewn coch.

Heddiw: wedi'i labelu fel DYDDIAD a'i amlygu mewn pinc.

Ail: wedi'i labelu fel SWM a'i amlygu mewn gwyrdd.

iPhone SE: wedi'i labelu fel COMM (Cynnyrch masnachol) a'i amlygu mewn glas.

4.7 modfedd: wedi'i labelu fel SWM a'i amlygu mewn gwyrdd.

Amwysedd mewn Cydnabod Endid a Enwir

Mae'r categori y mae term yn perthyn iddo yn reddfol eithaf clir i fodau dynol. Fodd bynnag, nid yw hynny'n wir am gyfrifiaduron - maent yn dod ar draws problemau dosbarthu. Er enghraifft:

Dinas Manceinion (Sefydliad) ennill Tlws yr Uwch Gynghrair ond yn y frawddeg ganlynol defnyddir y drefn yn wahanol. Dinas Manceinion (Lleoliad) yn Bwerdy Tecstilau a diwydiannol.

Mae angen eich model NER data hyfforddi i gynnal yn gywir echdynnu endid a dosbarthiad. Os ydych chi'n hyfforddi'ch model ar Saesneg Shakespearaidd, does dim angen dweud, ni fydd yn gallu dehongli Instagram.

Dulliau NER Gwahanol

Prif nod a model NER yw labelu endidau mewn dogfennau testun a'u categoreiddio. Defnyddir y tri dull canlynol yn gyffredinol at y diben hwn. Fodd bynnag, gallwch ddewis cyfuno un neu fwy o ddulliau hefyd.

Y gwahanol ddulliau o greu systemau NER yw:

  • Systemau sy'n seiliedig ar eiriaduron

    Efallai mai'r system sy'n seiliedig ar eiriaduron yw'r dull NER mwyaf syml a sylfaenol. Bydd yn defnyddio geiriadur gyda llawer o eiriau, cyfystyron, a chasgliad geirfa. Bydd y system yn gwirio a yw endid arbennig sy'n bresennol yn y testun hefyd ar gael yn yr eirfa. Trwy ddefnyddio algorithm paru llinynnol, perfformir trawswiriad o endidau.

    Un anfantais o ddefnyddio'r dull hwn yw bod angen uwchraddio'r set ddata geirfa yn gyson er mwyn i'r model NER weithredu'n effeithiol.

  • Systemau sy'n seiliedig ar reolau

    Yn y dull hwn, mae gwybodaeth yn cael ei echdynnu yn seiliedig ar set o reolau a osodwyd ymlaen llaw. Defnyddir dwy set sylfaenol o reolau,

    Rheolau sy'n seiliedig ar batrwm - Fel y mae'r enw'n ei awgrymu, mae rheol sy'n seiliedig ar batrwm yn dilyn patrwm morffolegol neu linyn o eiriau a ddefnyddir yn y ddogfen.

    Rheolau sy'n seiliedig ar gyd-destun - Mae rheolau sy'n seiliedig ar gyd-destun yn dibynnu ar ystyr neu gyd-destun y gair yn y ddogfen.

  • Systemau sy'n seiliedig ar ddysgu peiriannau

    Mewn systemau dysgu peirianyddol, defnyddir modelu ystadegol i ganfod endidau. Defnyddir cynrychioliad seiliedig ar nodwedd o'r ddogfen destun yn y dull hwn. Gallwch oresgyn nifer o anfanteision y ddau ddull cyntaf gan y gall y model eu hadnabod mathau o endid er gwaethaf mân amrywiadau yn eu sillafu.

  • Dysgu dwfn

    Mae dulliau dysgu dwfn ar gyfer NER yn trosoli pŵer rhwydweithiau niwral fel RNNs a thrawsnewidwyr i ddeall dibyniaethau testun hirdymor. Mantais allweddol defnyddio'r dulliau hyn yw eu bod yn addas iawn ar gyfer tasgau NER ar raddfa fawr gyda data hyfforddi helaeth.

    Ar ben hynny, gallant ddysgu patrymau a nodweddion cymhleth o'r data ei hun, gan ddileu'r angen am hyfforddiant â llaw. Ond mae dal. Mae'r dulliau hyn yn gofyn am lawer iawn o bŵer cyfrifiannol ar gyfer hyfforddi a defnyddio.

  • Dulliau Hybrid

    Mae'r dulliau hyn yn cyfuno dulliau fel dysgu seiliedig ar reolau, ystadegol a pheiriant i echdynnu endidau a enwir. Y nod yw cyfuno cryfderau pob dull tra'n lleihau eu gwendidau. Y rhan orau o ddefnyddio dulliau hybrid yw'r hyblygrwydd a gewch trwy gyfuno technegau lluosog y gallwch eu defnyddio i echdynnu endidau o ffynonellau data amrywiol.
    Fodd bynnag, mae'n bosibl y bydd y dulliau hyn yn mynd yn llawer mwy cymhleth yn y pen draw na'r dulliau un dull oherwydd pan fyddwch chi'n uno dulliau lluosog, gall y llif gwaith fynd yn ddryslyd.

Defnyddio Achosion ar gyfer Cydnabod Endid a Enwir (NER)?

Dadorchuddio Amlbwrpas Cydnabod Endid a Enwir (NER):

  • chatbots: Mae NER yn cynorthwyo chatbots fel ChatGPT OpenAI i ddeall ymholiadau defnyddwyr trwy nodi endidau allweddol.
  • Cymorth i Gwsmeriaid: Mae'n trefnu adborth cwsmeriaid yn ôl enwau cynnyrch, gan gyflymu amseroedd ymateb.
  • Cyllid: Mae NER yn tynnu data hanfodol o adroddiadau ariannol, gan gynorthwyo gyda dadansoddi tueddiadau ac asesu risg.
  • Gofal Iechyd: Mae'n tynnu gwybodaeth hanfodol o gofnodion clinigol, gan hyrwyddo dadansoddiad data cyflymach.
  • AD: Mae'n symleiddio recriwtio trwy grynhoi proffiliau ymgeiswyr a sianelu adborth gweithwyr.
  • Darparwyr Newyddion: Mae NER yn categoreiddio cynnwys yn wybodaeth a thueddiadau perthnasol, gan gyflymu adrodd.
  • Peiriannau Argymell: Mae cwmnïau fel Netflix yn cyflogi NER i bersonoli argymhellion yn seiliedig ar ymddygiad defnyddwyr.
  • Peiriannau Chwilio: Trwy gategoreiddio cynnwys gwe, mae NER yn gwella cywirdeb canlyniadau chwilio.
  • Dadansoddiad Sentiment: Mae NER yn tynnu cyfeiriadau brand o adolygiadau, gan danio offer dadansoddi teimlad.

Pwy sy'n Defnyddio Cydnabod Endid a Enwir (NER)?

Mae NER (Cydnabod Endid a Enwir) yn un o'r technegau prosesu iaith naturiol pwerus (NLP) wedi cyrraedd amrywiol ddiwydiannau a pharthau. Dyma rai enghreifftiau:

  • Peiriannau chwilio: Mae NER yn elfen graidd o beiriannau chwilio modern fel Google a Bing. Fe'i defnyddir i nodi a chategoreiddio endidau o dudalennau gwe ac ymholiadau chwilio i ddarparu canlyniadau chwilio mwy perthnasol. Er enghraifft, gyda chymorth NER, gall y peiriant chwilio wahaniaethu rhwng “Afal” y cwmni yn erbyn “afal” y ffrwyth yn seiliedig ar gyd-destun.
  • chatbots: Gall Chatbots a chynorthwywyr AI ddefnyddio NER i ddeall endidau allweddol o ymholiadau defnyddwyr. Trwy wneud hynny, gall chatbots ddarparu ymatebion mwy manwl gywir. Er enghraifft, os gofynnwch “Dod o hyd i fwytai Eidalaidd ger Central Park” bydd y chatbot yn deall “Eidaleg” fel y math o fwyd, “bwytai” fel y lle, a “Central Park” fel y lleoliad.
  • Newyddiaduraeth Ymchwiliol: Defnyddiodd y Consortiwm Rhyngwladol o Newyddiadurwyr Ymchwilio (ICIJ), sefydliad cyfryngau enwog NER i ddadansoddi Papurau Panama, gollyngiad enfawr o 11.5 miliwn o ddogfennau ariannol a chyfreithiol. Yn yr achos hwn, defnyddiwyd NER i nodi pobl, sefydliadau a lleoliadau yn awtomatig ar draws miliynau o ddogfennau anstrwythuredig, gan ddatgelu rhwydweithiau cudd o osgoi talu treth alltraeth.
  • Biowybodeg: Ym maes Biowybodeg, defnyddir NER i echdynnu endidau allweddol megis genynnau, proteinau, cyffuriau a chlefydau o bapurau ymchwil biofeddygol ac adroddiadau treialon clinigol. Mae data o'r fath yn helpu i gyflymu'r broses o ddarganfod cyffuriau.
  • Monitro Cyfryngau Cymdeithasol: Mae brandiau dros gyfryngau cymdeithasol yn defnyddio NER i olrhain metrigau cyffredinol eu hymgyrchoedd hysbysebu a sut mae eu cystadleuwyr yn gwneud. Er enghraifft, mae yna gwmni hedfan sy'n defnyddio NER i ddadansoddi trydariadau sy'n sôn am eu brand. Mae'n canfod sylwebaeth negyddol am endidau fel "bagiau coll" mewn maes awyr penodol fel y gallant ddatrys y broblem cyn gynted â phosibl.
  • Hysbysebu Cyd-destunol: Mae llwyfannau hysbysebu yn defnyddio NER i dynnu endidau allweddol o dudalennau gwe i arddangos hysbysebion mwy perthnasol ochr yn ochr â'r cynnwys gan wella cyfraddau targedu hysbysebion a chlicio drwodd yn y pen draw. Er enghraifft, os bydd NER yn canfod “Hawaii”, “gwestai”, a “thraethau” ar flog teithio, bydd y platfform hysbysebu yn dangos bargeinion ar gyfer cyrchfannau Hawaii yn hytrach na chadwyni gwestai generig.
  • Sgrinio Recriwtio ac Ailddechrau: Gallwch gyfarwyddo NER i ddod o hyd i'r union sgiliau a chymwysterau gofynnol yn seiliedig ar set sgiliau, profiad a chefndir yr ymgeisydd. Er enghraifft, gall asiantaeth recriwtio ddefnyddio NER i baru ymgeiswyr yn awtomatig.

Cymwysiadau NER

Mae gan NER sawl achos defnydd mewn sawl maes sy'n ymwneud â Phrosesu Iaith Naturiol a chreu setiau data hyfforddi ar gyfer dysgu peiriant ac dysgu dwfn atebion. Rhai o gymwysiadau NER yw:

  • Cymorth i Gwsmeriaid Syml

    Gall system NER sylwi'n hawdd ar gwynion, ymholiadau ac adborth cwsmeriaid perthnasol yn seiliedig ar wybodaeth hanfodol fel enwau cynnyrch, manylebau, lleoliadau cangen, a mwy. Mae'r gŵyn neu'r adborth yn cael ei ddosbarthu'n briodol a'i ddargyfeirio i'r adran gywir trwy hidlo allweddeiriau blaenoriaeth.

  • Adnoddau Dynol Effeithlon

    Mae NER yn helpu timau Adnoddau Dynol i wella eu proses llogi a lleihau'r llinellau amser trwy grynhoi ailddechrau ymgeiswyr yn gyflym. Gall offer NER sganio'r ailddechrau a thynnu gwybodaeth berthnasol - enw, oedran, cyfeiriad, cymhwyster, coleg, ac ati.

    Yn ogystal, gall yr adran AD hefyd ddefnyddio offer NER i symleiddio'r llifoedd gwaith mewnol trwy hidlo cwynion gweithwyr a'u hanfon ymlaen at y penaethiaid adran dan sylw.

  • Dosbarthiad Cynnwys Syml

    Mae dosbarthu cynnwys yn dasg ddigrif i ddarparwyr newyddion. Mae dosbarthu'r cynnwys i wahanol gategorïau yn ei gwneud hi'n haws darganfod, cael mewnwelediad, nodi tueddiadau, a deall y pynciau. A Enwedig Cydnabod Endid gall yr offeryn fod yn ddefnyddiol i ddarparwyr newyddion. Gall sganio llawer o erthyglau, nodi allweddeiriau blaenoriaeth, a thynnu gwybodaeth yn seiliedig ar y personau, y sefydliad, y lleoliad, a mwy.

  • Optimeiddio Peiriannau Chwilio

    Beiriant optimization Chwilio NER helpu i symleiddio a gwella cyflymder a pherthnasedd canlyniadau chwilio. Yn lle rhedeg yr ymholiad chwilio am filoedd o erthyglau, gall model NER redeg yr ymholiad unwaith ac arbed y canlyniadau. Felly, yn seiliedig ar y tagiau yn yr ymholiad chwilio, gellir codi'r erthyglau sy'n gysylltiedig â'r ymholiad yn gyflym.

  • Argymhelliad Cynnwys Cywir

    Mae sawl cymhwysiad modern yn dibynnu ar offer NER i ddarparu profiad cwsmer wedi'i optimeiddio ac wedi'i addasu. Er enghraifft, mae Netflix yn darparu argymhellion personol yn seiliedig ar hanes chwilio a gweld y defnyddiwr gan ddefnyddio cydnabyddiaeth endid a enwir.

Mae Cydnabod Endid a Enwir yn gwneud eich dysgu peiriant modelau yn fwy effeithlon a dibynadwy. Fodd bynnag, mae angen setiau data hyfforddi o safon arnoch er mwyn i'ch modelau weithio ar eu lefel optimaidd a chyflawni'r nodau a fwriadwyd. Y cyfan sydd ei angen arnoch yw partner gwasanaeth profiadol a all ddarparu setiau data o ansawdd i chi yn barod i'w defnyddio. Os yw hynny'n wir, Shaip yw eich bet orau eto. Cysylltwch â ni am setiau data NER cynhwysfawr i'ch helpu chi i ddatblygu atebion ML effeithlon ac uwch ar gyfer eich modelau AI.

[Darllenwch hefyd: Beth yw NLP? Sut mae'n Gweithio, Manteision, Heriau, Enghreifftiau

Sut Mae Cydnabod Endid a Enwir yn Gweithio?

Wrth ymchwilio i faes Cydnabod Endid a Enwir (NER) mae taith systematig yn cynnwys sawl cam:

  • Tokenization

    I ddechrau, mae'r data testunol yn cael ei rannu'n unedau llai, a elwir yn docynnau, sy'n gallu amrywio o eiriau i frawddegau. Er enghraifft, mae’r datganiad “Barack Obama oedd arlywydd UDA” wedi’i rannu’n docynnau fel “Barack”, “Obama”, “oedd”, “the”, “arlywydd”, “yr”, “the”, a “ UDA”.

  • Canfod Endid

    Gan ddefnyddio cyfuniad o ganllawiau ieithyddol a methodolegau ystadegol, rhoddir sylw i endidau posibl a enwir. Mae adnabod patrymau fel priflythrennau mewn enwau (“Barack Obama”) neu fformatau gwahanol (fel dyddiadau) yn hollbwysig yn y cam hwn.

  • Dosbarthiad Endid

    Ar ôl canfod, mae endidau'n cael eu didoli i gategorïau wedi'u diffinio ymlaen llaw fel “Person”, “Sefydliad”, neu “Lleoliad”. Mae modelau dysgu peirianyddol, sy'n cael eu meithrin ar setiau data wedi'u labelu, yn aml yn llywio'r dosbarthiad hwn. Yma, mae “Barack Obama” yn cael ei dagio fel “Person” ac “UDA” fel “Lleoliad”.

  • Gwerthusiad Cyd-destunol

    Mae gallu systemau NER yn aml yn cael ei chwyddo trwy werthuso'r cyd-destun cyfagos. Er enghraifft, yn yr ymadrodd “Tystiodd Washington i ddigwyddiad hanesyddol”, mae'r cyd-destun yn helpu i ddirnad “Washington” fel lleoliad yn hytrach nag enw person.

  • Mireinio Ôl-werthuso

    Yn dilyn y dynodiad a'r dosbarthiad cychwynnol, efallai y bydd mireinio ôl-werthuso yn dilyn i fireinio'r canlyniadau. Gallai'r cam hwn fynd i'r afael ag amwyseddau, asio endidau aml-tocyn, neu ddefnyddio cronfeydd gwybodaeth i ychwanegu at y data endid.

Mae'r ymagwedd amlinellol hon nid yn unig yn dadrinysu craidd NER ond hefyd yn gwneud y gorau o'r cynnwys ar gyfer peiriannau chwilio, gan wella amlygrwydd y broses gymhleth y mae NER yn ei hymgorffori.

Manteision a Heriau NER?

Budd-daliadau:

  • Echdynnu Gwybodaeth: Mae NER yn nodi data allweddol, gan gynorthwyo adalw gwybodaeth.
  • Sefydliad Cynnwys: Mae'n helpu i gategoreiddio cynnwys, sy'n ddefnyddiol ar gyfer cronfeydd data a pheiriannau chwilio.
  • Gwell Profiad Defnyddiwr: Mae NER yn mireinio canlyniadau chwilio ac yn personoli argymhellion.
  • Dadansoddiad craff: Mae'n hwyluso dadansoddi teimlad a chanfod tueddiadau.
  • Llif Gwaith Awtomataidd: NER yn hyrwyddo awtomeiddio, arbed amser ac adnoddau.

Cyfyngiadau/Heriau:

  • Datrys Amwysedd: Yn brwydro â gwahaniaethu endidau tebyg.
  • Addasiad Parth-Benodol: Dwys o ran adnoddau ar draws parthau amrywiol.
  • Dibyniaeth Iaith: Mae effeithiolrwydd yn amrywio yn ôl ieithoedd.
  • Prinder Data wedi'i Labelu: Angen setiau data mawr wedi'u labelu ar gyfer hyfforddiant.
  • Trin Data Anstrwythuredig: Mae angen technegau uwch.
  • Mesur Perfformiad: Mae gwerthuso cywir yn gymhleth.
  • Prosesu Amser Real: Mae cydbwyso cyflymder â chywirdeb yn heriol.

Dyfodol NER

Er bod Cydnabod Endid a Enwir (NER) yn faes sydd wedi’i hen sefydlu, mae llawer o waith i’w wneud o hyd. Un maes addawol y gallwn ei ystyried yw technegau dysgu dwfn gan gynnwys trawsnewidyddion a modelau iaith a hyfforddwyd ymlaen llaw, fel y gellir gwella perfformiad NER ymhellach.

Syniad cyffrous arall yw adeiladu systemau NER wedi'u teilwra ar gyfer gwahanol broffesiynau, fel meddygon neu gyfreithwyr. Gan fod gan wahanol ddiwydiannau eu mathau a'u patrymau hunaniaeth eu hunain, gall creu systemau NER yn y cyd-destunau penodol hyn ddarparu canlyniadau mwy manwl gywir a pherthnasol.

At hynny, mae NER amlieithog a thraws-ieithog hefyd yn faes sy'n tyfu'n gyflymach nag erioed. Gyda globaleiddio cynyddol busnes, mae angen i ni ddatblygu systemau NER a all drin strwythurau a sgriptiau ieithyddol amrywiol.

Wrth i systemau NER ddod yn fwy cymhleth a chael eu cymhwyso mewn parthau hanfodol fel gofal iechyd a chyllid, mae'n hanfodol deall sut mae'r modelau hyn yn gwneud eu rhagfynegiadau. Gall datblygu technegau i ddelweddu ac egluro'r rhesymeg y tu ôl i allbynnau NER gynyddu ymddiriedaeth yn y systemau hyn a hwyluso eu defnyddio'n gyfrifol.

Cyfran Gymdeithasol

Efallai yr hoffech