SL2T: język migowy zamiast pisania w telefonie

Google DeepMind pokazał SL2T, model tłumaczący język migowy na tekst. To pierwszy raz, kiedy taka technologia trafia do produktu konsumenckiego: SL2T zasila funkcję sign-to-text w Gboard i Live Transcribe na smartfonach Pixel 11. Na początek rozumie amerykański język migowy (ASL) i tłumaczy go na angielski.

Najciekawsze jest to, jak twórcy podeszli do dwóch problemów, które od lat spowalniały rozwój tej technologii. Języki migowe to nie „angielski pokazywany rękami", lecz pełnoprawne języki z własną gramatyką — znaczenie niosą mimika, ruch głowy i przestrzeń. Dlatego SL2T tłumaczy bezpośrednio z ruchu na tekst, pomijając pośrednie adnotacje, które te elementy gubiły. Prywatność rozwiązano tak: model na urządzeniu śledzi punkty na twarzy, dłoniach i tułowiu, a do chmury trafiają tylko ich współrzędne — samo wideo jest natychmiast kasowane.

Model trenowano na ponad 100 000 godzin nagrań w ponad 50 językach migowych. Wspólne szkolenie na różnych językach pozwala modelowi uczyć się ich wspólnych struktur i — według Google — daje lepsze wyniki niż modele jednojęzykowe. W benchmarku FLEURS-ASL SL2T osiągnął 70 punktów BLEURT bez dodatkowego treningu, najwięcej z dotąd raportowanych wyników. Twórcy zadbali też o praktyczne sprawy: małą latencję, brak halucynacji na ruchach, które miganiem nie są, oraz sprawne działanie podczas migania jedną ręką (druga trzyma telefon) i dla osób leworęcznych.

Co to oznacza w praktyce:

• migasz do przedniej kamery zamiast pisać — możesz wyszukiwać, pisać wiadomości i dokumenty oraz wydawać polecenia asystentowi Gemini;
• w Live Transcribe odpowiadasz miganiem w trakcie rozmowy, zamiast wystukiwać odpowiedź;
• tłumaczenie pojawia się na ekranie w czasie rzeczywistym.

SL2T powstawał we współpracy ze społecznością Głuchych — od pomysłu Sama Sepaha, głuchego pracownika Google, po komitet doradczy AISLAC i wspólny raport o możliwościach i ograniczeniach modelu. Na razie to ASL i angielski; Google zapowiada kolejne języki migowe i urządzenia. Zobaczymy, kiedy doczekamy się polskiego języka migowego.

Warto przeczytać w całości: Putting sign language AI into users' hands (Google DeepMind Sign Language Team)