Czy AI wykrywa problemy z użytecznością?

AI coraz częściej wkracza w obszary, które do tej pory należały wyłącznie do badaczy. Jednym z nich jest analiza nagrań z testów użytkownika. Badacze z MeasuringU postanowili sprawdzić, czy ChatGPT 5.4 Thinking potrafi zidentyfikować problemy z użytecznością na podstawie sześciominutowego wideo.

Do eksperymentu użyli nagrania z testu na OpenTable.com — uczestnik szukał restauracji sushi w Denver. AI wylistowało siedem problemów: utratę filtra kuchni po zmianie miasta, słabe informacje o restauracjach w wynikach wyszukiwania, brak wsparcia decyzyjnego w interfejsie, błędną kategoryzację lokalu jako “owoce morza” zamiast “sushi”. Lista wygląda konkretnie i wiarygodnie.

Problem w tym, że AI nie ogląda wideo tak jak człowiek. Próbkuje 1–2 klatki na sekundę, a resztę rekonstruuje — trochę jak autocomplete. To oznacza, że może przeoczyć krótkie wahania czy mikrointerakcje, które często są najcenniejszymi momentami w testach użytkownika. Do tego wyniki nie są deterministyczne: ten sam film, ten sam prompt — i za każdym razem możesz dostać nieco inną listę problemów. Ryzyko halucynacji nigdzie nie znika.

Autorzy rekomendują traktowanie wyników AI jako “wiarygodnych interpretacji wymagających walidacji”, a nie pewnych obserwacji. Innymi słowy: AI może być użytecznym pierwszym krokiem w analizie, ale nie zastąpi rzetelnej pracy badacza UX.

Warto przeczytać w całości: Can AI Detect Usability Problems? (Jeff Sauro, Lucas Plabst, Jim Lewis, Will Schiavone)