העוזרת הדיגיטלית של אפל, Siri, ממשיכה לפגר אחרי ה-Google Assistant, דוח מבחן קבוצתי, כזה שגם חושף שיפורים בהבנה נכונה של שאילתות ומתן תשובות נכונות השתפר בדרך כלל בכל העוזרות הדיגיטליות.
מבחן ה-Digital Assistant IQ של Loup Venturesחוזרניסוי דומה מאפריל 2017, הטיל על סירי של אפל,Google Assistant,אלקסה של אמזון, וCortana של מיקרוסופטעם מענה לסדרה של שאלות. בעוד שהמבחן בשנה שעברה השתמש אך ורק בעוזרי סמארטפון, אפליקציית ה-iOS של אלקסה אפשרה את זה להיכלל בסגל.
בסך הכל נשאלו 800 שאלות לכל סייעת, כאשר הציונים ניתנו על סמך אם השאלה פורשה נכון, ואם ניתנה תשובה נכונה.
ה-Google Assistant עמד בראש הרשימה, סיפק תוצאות נכונות ב-85.5 אחוז מהמקרים, כאשר סירי במקום השני עם 78.5 אחוז מהשאילתות ענו נכון. אלקסה השיגה 61.4 אחוזים נכונים, בעוד שקורטנה סיימה את הרשימה עם 52.4 אחוזים.
היו שיפורים בכל רחבי הלוח, כאשר Google Assistant עלתה מ-74.8 אחוזים שקיבלה בשנה שעברה, בעוד שהציונים של Siri ו-Cortana מ-2017 היו 66.1 ו-48.8 בהתאמה. גם היכולת של העוזרים להבין את השאילתות השתפרה, כאשר סירי עברה מ-95 אחוז מובן ל-99 אחוז, וגוגל עברה מ-99 אחוז ל-100 אחוז.
"הן הזיהוי הקולי והן עיבוד השפה הטבעית של עוזרים דיגיטליים בכל רחבי הלוח השתפרו עד לנקודה שבה, בסבירות גבוהה, הם יבינו את כל מה שאתה אומר להם", כותבים האנליסטים ג'ין מונסטר וויל תומפסון.
כחלק מהבדיקה, השאלות חולקו לאחת מחמש קטגוריות, ובודקות את יכולותיהן לפרש שאילתות ידע מקומי, מסחר, ניווט, מידע ופיקוד. יצוין כי השאלות שונו עבור המבחן השנה כדי "לשקף את היכולות המשתנות של עוזרי AI", שינויים שנראו כגרמו לירידה בתוצאות עבור שאילתות ניווט, אך עדיין ראו שיפורים עבור הקטגוריות האחרות.
על בסיס קטגוריה, Google Assistant מוביל על כל האחרים, למעט שאילתות פקודות, שנשלטות על ידי Siri.
"מצאנו ש-Siri קצת יותר מועילה ורב-תכליתית (מגיבה לשפה גמישה יותר) בשליטה בטלפון, בבית החכם, במוזיקה וכו'", נכתב בדו"ח. "סט השאלות שלנו כולל כמות נכבדת של שאילתות הקשורות למוזיקה (הפעולה הנפוצה ביותר עבור רמקולים חכמים). אפל, נאמנה לשורשים שלה, הבטיחה ש-Siri מסוגלת עם מוזיקה גם במכשירים ניידים וגם ברמקולים חכמים".
הבדיקה השתמשה ביישומי iOS עבור Cortana ואלקסה, שלטענת האנליסטים לא משקפים לחלוטין את היכולות שלהם בשימוש בפלטפורמות אחרות. דוגמה אחת, חוסר היכולת של אפליקציית Alexa להגדיר תזכורות, אזעקות או לשלוח מיילים, השפיע על ביצועי קטגוריית הפקודה שלה. מכיוון ש-Siri ו-Google Assistant נאפו במכשירי אייפון וסמארטפונים אנדרואיד, מוצע כי Cortana ואלכסה נלחמות בקרב עלייה בהשוואה לסמארטפונים.
האנליסטים מקווים שהמחשוב מבוסס הקול ישתפר עם הזמן, שכן מדובר בתכונה להסרת חיכוך מנקודת המבט של המשתמש. יחד עם היכולת להבין שאילתות בסגנון שיחה העוקבות זו אחר זו, כמו גם שגרות וסצנות של בית חכם,קיצורי דרך של סירימודגשת גם כתכונה נוספת להפחתת חיכוך ליצירת "מיני אוטומציות" שניתן להפעיל על ידי פקודה.
Paymenta ו-ride-hailing הם שני תחומים מבטיחים לפיתוח ווקאלי עתידי, עקב צורך בביצוע מעט פלט חזותי. בעוד שסירי ואלכסה הצליחו להסיע טרמפ, וסירי ו-Google Assistant מסוגליםלשלוח כסף, החברה מצפה שתכונות כאלה יאומצו על ידי אלה שלא מציעים אותן כבר.