Logo sv.nowadaytechnol.com

Tre Nya ANVÄNDNING Flerspråkiga Moduler Kommer Till TensorFlow

Innehållsförteckning:

Tre Nya ANVÄNDNING Flerspråkiga Moduler Kommer Till TensorFlow
Tre Nya ANVÄNDNING Flerspråkiga Moduler Kommer Till TensorFlow

Video: Tre Nya ANVÄNDNING Flerspråkiga Moduler Kommer Till TensorFlow

Video: Tre Nya ANVÄNDNING Flerspråkiga Moduler Kommer Till TensorFlow
Video: Flerspråkighet och digital kompetens 2024, Mars
Anonim
Image
Image

Google är en av pionjärerna inom AI-forskning och många av deras projekt har börjat vända. AlphaZero från Googles DeepMind teamet var genombrott inom AI-forskning på grund av programmets förmåga att lära sig komplicerade spel i sig (utan mänsklig utbildning och intervention). Google har också gjort ett utmärkt arbete i Program för bearbetning av naturliga språk (NLP), vilket är en av anledningarna till Google Assistents effektivitet när det gäller att förstå och bearbeta mänskligt tal.

Google tillkännagav nyligen lanseringen av tre nya ANVÄND flerspråkiga moduler och tillhandahålla fler flerspråkiga modeller för att hämta semantiskt liknande text.

De två första modulerna tillhandahåller flerspråkiga modeller för att hämta semantiskt liknande text, en optimerad för hämtningsprestanda och den andra för hastighet och mindre minnesanvändning. Den tredje modellen är specialiserad för att hämta frågor och svar på sexton språk (USE-QA) och representerar en helt ny tillämpning av USE. Alla tre flerspråkiga moduler tränas med hjälp av ramverk med dubbla kodare med flera upter, som liknar den ursprungliga USE-modellen för engelska, samtidigt som vi använder tekniker som vi utvecklat för att förbättra dual-encoder med softmax-tillvägagångssätt. De är utformade inte bara för att upprätthålla bra överföringsinlärningsprestanda utan för att utföra väl somantiska hämtningsuppgifter.

Språkbehandling i system har kommit långt, från grundläggande syntaxträdparsing till stora vektorassociationsmodeller. Att förstå sammanhang i text är ett av de största problemen i NLP-fältet och Universal Sentence Encoder löser detta genom att konvertera text till högdimensionella vektorer, vilket gör textrankning och beteckning enklare.

Image
Image

Enligt Google, “ De tre nya modulerna bygger alla på semantisk hämtningsarkitektur, som vanligtvis delar upp kodningen av frågor och svar i separata neurala nätverk, vilket gör det möjligt att söka bland miljarder potentiella svar inom millisekunder.”Med andra ord hjälper detta till bättre indexering av data.

Alla tre flerspråkiga moduler tränas med hjälp av ramverk med dubbla kodare med flera uppgifter, som liknar den ursprungliga USE-modellen för engelska, samtidigt som vi använder tekniker som vi utvecklat för att förbättra dual-encoder med softmax-tillvägagångssätt. De är utformade inte bara för att upprätthålla bra överföringsinlärningsprestanda utan för att utföra väl somantiska hämtningsuppgifter.” Softmax-funktionen används ofta för att spara beräkningskraft genom att exponentiera vektorer och sedan dela varje element med summan av det exponentiella.

Semantisk hämtningsarkitektur

”De tre nya modulerna är alla byggda på semantiska hämtningsarkitekturer, som vanligtvis delar upp kodningen av frågor och svar i separata neurala nätverk, vilket gör det möjligt att söka bland miljarder potentiella svar inom millisekunder. Nyckeln till att använda dubbla kodare för effektiv semantisk hämtning är att förkoda alla kandidatsvar till förväntade inmatningsfrågor och lagra dem i vektordatabas som är optimerad för att lösa närmaste grannproblem, vilket gör att ett stort antal kandidater kan sökas snabbt med bra precision och återkallande.”

Du kan ladda ner dessa moduler från TensorFlow Hub. Mer information finns i GoogleAI: s fullständiga blogginlägg.

Rekommenderad: