Google обяви пускането на Guided Vision в Gemini Live за съвместими устройства с Android. Функцията е насочена най-вече към незрящи хора и хора с намалено зрение, като предлага гласово визуално описание в реално време.
При споделяне на камерата в сесия с Gemini Live системата описва обкръжението, приема допълнителни въпроси и дава устни насоки за кадрирането. Ако камерата е насочена твърде високо, прекалено близо или встрани, тя може да поиска от потребителя да я премести надясно, да я наклони надолу или да се отдалечи.
Според Google разработката е направена в сътрудничество с общността на хората със зрителни затруднения. Компанията посочва, че е работила с Aira върху десетки хиляди часове визуално интерпретирани данни, а над 1000 участници от мрежата Trusted Tester на Aira са тествали модела в ежедневни ситуации.
Сред описаните приложения са четене на дребен шрифт и етикети, намиране на предмети, разпознаване на цветове и форми и получаване на общо описание на непознато помещение. Google съобщава и за поддръжка на разговори на няколко езика, тествана с общности в Индия, Бразилия, Сингапур, Индонезия и Япония.
Guided Vision може да се включи от настройките на мобилното приложение Gemini и след това да се използва чрез споделяне на камерата в Gemini Live. Предвидени са и преки пътища от настройките за достъпност на Android, както и стартиране през менюто на TalkBack.
Google подчертава, че функцията може да допуска грешки. Тя не е медицинско изделие, помощно средство за мобилност или заместител на белия бастун и не е предназначена за навигация, указания за безопасно придвижване или откриване на препятствия.
Функцията е достъпна за устройства с Android 9 или по-нова версия в регионите и на езиците, в които се поддържа Gemini Live. Компанията препоръчва приложението Gemini и системният софтуер да бъдат обновени до последните им версии.
