На на Архітектор Sudhakar Reddy Narra продемонстрував, як звичайні інструменти тестування продуктивності пропускають всі способи, якими агенти штучного інтелекту фактично руйнуються під навантаженням. Тест-конференція в Стамбулі Тест-конференція в Стамбулі Коли інженери продуктивності випробовують традиційні веб-додатки, метрики прості: час відповіді, пропускна здатність та частота помилок. Натисніть на систему з тисячами одночасних запитів, подивіться на графіки та визначте бар'єри. Але системи AI не руйнують однаково. На конференції TestIstanbul в минулому місяці архітектор Sudhakar Reddy Narra привернув одну з найбільших натовпів події, 204 учасників з 347 учасників, щоб пояснити, чому традиційні підходи до тестування навантажень фундаментально сліпі до того, як агенти штучного інтелекту не спрацюють у виробництві. "Агент інтелектуального інтелекту може повернути ідеальні HTTP 200 відповіді менш ніж за 500 мілісекунд, даючи абсолютно непотрібні відповіді", - сказала Нара аудиторії. - Ваші панелі моніторингу зелені, але користувачі розчаровані. Розрив інтелекту Основна проблема, за словами Нарри, полягає в тому, що системи інтелектуального інтелекту є недетерміністичними. Дотримуйте один і той же вхід двічі, і ви можете отримати різні виходи, обидва технічно правильні, але різняться за якістю. Ця варіабельність створює виклики тестування, які не були розроблені для вирішення звичайними інструментами.Метрики часу відповіді не розкривають, чи дійсно AI зрозумів намір користувача.Числа пропускання не показують, що система горить через своє "контекстне вікно", моделі робочої пам'яті AI використовують для підтримки узгодженості розмови і починають втрачати відстеження того, про що запитують користувачі. "Ми вимірюємо швидкість, коли ми повинні вимірювати інтелект під навантаженням", - стверджував Нарра. Нові метрики для нової проблеми Презентація Нари охарактеризувала кілька показників продуктивності, специфічних для штучного інтелекту, які тестувальні рамки в даний час ігнорують: Час наміченого розв'язання: скільки часу потрібно AI, щоб визначити, чого дійсно хоче користувач, окремо від латентності сирої відповіді. Оцінка плутанини: міра невизначеності системи при генеруванні відповідей.Висока плутанинини під навантаженням часто передує деградації якості, яку помічають користувачі, але інструменти моніторингу цього не роблять. Token throughput: Замість того, щоб вимірювати запити на секунду, слідкуйте за тим, скільки токенів основні одиниці обробки тексту система обробляє. Використання контекстного вікна: Наскільки ближче система до виснаження робочої пам'яті. Агент, який працює на 90% контекстної потужності, є одним розмовним поворотом від невдачі, але традиційний моніторинг не бачить жодних попереджувальних ознак. Границя деградації: рівень навантаження, при якому якість відповіді починає знижуватися, навіть якщо час відповіді залишається прийнятним. На відміну від традиційних додатків, де кожен запит коштує приблизно однаково для обробки, інтеракції AI можуть варіюватися від центів до доларів залежно від того, скільки відбувається обчислювальне «мислення». Випробування непередбачуваного Один практичний виклик Narra підкреслив: генерування реалістичних тестових даних для систем AI значно складніше, ніж для звичайних додатків. Тест на вхід вимагає ім'я користувача та пароль. Тестування агента обслуговування клієнтів AI вимагає тисяч різноманітних, непередбачуваних питань, які імітують те, як фактично люди запитують фрази, повний з неоднозначністю, типом і мовною варіацією. Його підхід включає в себе вилучення шаблонів намірів з виробничих журналів, а потім програматичне генерування варіацій: синоніми, перефразування, крайні випадки.Мета полягає в створенні синтетичних наборів даних, які імітують людську непередбачуваність в масштабі, не повторюючи однакових запитів неодноразово. "Ви не можете завантажити тест на штучний інтелект з 1000 копіями одного і того ж питання", - пояснив він. "Система обробляє повторення по-різному, ніж справжній різновид. Проблема моделі Drift Інша складність Нара підкреслила: системи AI не залишаються статичними. Коли моделі перепідготовляються або оновлюються, їх характеристики продуктивності змінюються навіть тоді, коли навколишній код залишається незмінним. Агент, який комфортно справлявся з 1000 одночасними користувачами минулого місяця, може боротися з 500 після оновлення моделі, не через помилки, а тому, що нова модель має різні закономірності споживання ресурсів. "Це означає, що тестування продуктивності не може бути одноразовою валідацією", - сказав Нарра. - Вам потрібно постійне тестування, оскільки AI розвивається. Він описав розширення традиційних інструментів тестування навантаження, таких як Apache JMeter, з можливостями інтелектуального інтелекту: індивідуальні плагіни, які вимірюють швидкість обробки токенів, відслідковують використання контексту та контролюють семантичну точність під час навантаження, а не тільки швидкість. Створення Resilience at the Edge Презентація також охопила випробування стійкості для систем AI, які залежать від зовнішніх API, інгредієнтних двигунів та спеціалізованого обладнання, кожна з яких має потенційну точку несправності. Традиційні системи або працюють, або кидають помилки. системи AI часто провадять поступово, деградуючи від корисних до загальних до заплутаних, ніколи технічно не "розбиваючись". "Найважчі проблеми, які можна спіймати, - це ті, де все виглядає добре в журналах, але досвід користувача жахливий", - зазначив він. Питання прийому промисловості Ринок тестування штучного інтелекту з'являється, і більшість організацій все ще роблять висновки про базове розгортання штучного інтелекту, не кажучи вже про складну інженерію продуктивності. Деякі фахівці стверджують, що існуючі інструменти спостережності можуть бути просто розширені новими показниками, а не вимагати абсолютно нових парадигм тестування. Нарра визнав, що поле є раннім: "Більшість команд не розуміють, що їм це потрібно, поки вони вже не відправили щось, що руйнує виробництво. Дивлячись вперед Висока присутність на сесії TestIstanbul Narra, яка залучила майже 60% учасників конференції, свідчить про те, що спільнота тестування визнає, що існує розрив між тим, як працюють системи AI, і тим, як вони в даний час підтверджуються. На даний момент питання, яке стоїть перед інженерними командами, які розгортають штучний інтелект в масштабі, є простим: як ви перевіряєте щось, що розроблено, щоб бути непередбачуваним? Відповідь починається з того, що традиційні метрики не захоплюють те, що насправді має значення, і створюють нові.

This story contains new, firsthand information uncovered by the writer.

Read My Stories

Це аудіо створено мовою оригіналу історії!

Чому традиційні випробування навантаження не вдаються до сучасних систем AI

About Author

КОМЕНТАРІ

ПОВІСИТИ БИРКИ

ЦЯ СТАТТЯ БУЛА ПРЕДСТАВЛЕНА В

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps