BERT – nový vyhledávací algoritmus Google: co to je a jak funguje

Anonim

Google oznámil spuštění nového vyhledávacího algoritmu – BERT. Chápeme, co se o něm ví a jak bude fungovat.

Stručně řečeno, podle vývojářů nový algoritmus pomůže vyhledávači lépe porozumět tomu, co uživatel vlastně hledal.


Co je BERT a jak bude fungovat

Pomocí technologie BERT (Obousměrné kodérové ​​reprezentace od Transformers - NLP založené na neuronových sítích) budou výsledky vyhledávání smysluplnější a budou se blížit tomu, co uživatel skutečně chtěl vědět.Nyní budou slova a fráze v požadavku uživatele zpracovány s ohledem na kontext, nikoli v pořadí jako dříve. Již dnes pomáhá nový vyhledávací algoritmus lépe porozumět každému desátému dotazu v USA v angličtině. Později bude BERT lokalizován a bude fungovat v jiných jazycích.

Pokud mluvíme o segmentu vyhledávání v anglickém jazyce, pak nebude potřeba dotaz speciálně vybírat – algoritmus pochopí význam dotazu i v dlouhé frázi s mnoha předložkami jako a , někdy radikálně mění význam fráze.

Například hledejte („2019 brazilský cestovatel do USA potřebuje vízum“). Zde a jeho spojení s dalšími slovy v dotazu jsou důležité zejména pro pochopení významu. Mluvíme o cestě Brazilce do Spojených států, a ne naopak. Dříve algoritmus tuto souvislost neviděl a výsledky zahrnovaly materiály o občanech USA cestujících do Brazílie. S BERT poskytne vyhledávání pro daný dotaz relevantnější výsledek.

Podívejme se na další dotaz: . Dříve byl pojem „autonomní“ vnímán jako slovo „stánek“ (stánek). BERT to udělá správně:

Zde je několik dalších příkladů, kdy BERT zachycuje nuance jazyka, kde počítače nevnímají text jako lidé.

Pouze s příchodem BERT se stala důležitou sémantickou součástí tohoto dotazu:

Dříve při vyhledávání většinou ignorovali slovo , aniž by si uvědomili, jak důležité je pro správnou odpověď:

BERT vybírá užitečnější výsledek speciálně pro kategorii dospělých uživatelů:

Porozumění jazyku zůstane věčným problémem, což znamená, že Vyhledávání bude muset být donekonečna vylepšováno. Samozřejmě je lepší netestovat BERT dotazem ("jaký stát je jižně od Nebrasky") - s největší pravděpodobností se vrátí ("South Nebraska"). I když je zřejmé, že se jedná o Kansas :-) Přesto se modely vyškolené v angličtině již aplikují i ​​na jiné jazyky. A dokonce se mu podařilo dosáhnout hmatatelného účinku v jazycích, jako je korejština, hindština a portugalština.

Přečtěte si také:

  • Faktory hodnocení webu podle chování
  • Atributy Alt a Title pro obrázky
  • H1 a název – vytvořte stejný nebo odlišný