Энэ нь , Performance Architect Sudhakar Reddy Narra харьцангуй гүйцэтгэлийн туршилтын хэрэгслүүд нь AI-ийн ажилтнууд нь үр дүнтэй ачаалалтай талаархи бүх арга зайлсхийх гэж үзсэн. ТестИстанбулны конференц ТестИстанбулны конференц Эрчим хүчний инженерийн уламжлалт вэб програмуудыг туршиж байгаа үед метрик нь хялбар байдаг: хариу хугацаа, дамжуулалт, алдааны түвшин. Илүү илүүд нь нэг удаа хүсэлттэй системийг харах, график үзнэ үү, бутлах хязгаарлалтыг идентичлэх. Хялбар хялбар. Гэсэн хэдий ч, AI систем нь анагаах хэлбэрээр буцаж биш юм. Өнгөрсөн сарын TestIstanbul Conference-д гүйцэтгэлийн архитектор Sudhakar Reddy Narra үйл явдлын хамгийн том олон нийтийн нэг, 347-ийн нийт оролцогчдын 204 оролцогч, уламжлалт ачаалал туршилтын арга хэрэгсэл нь AI-ийн ажилтнууд үйлдвэрлэлд нөлөөлж чадахгүй болохыг харуулж байна. "АИ-ийн агент нь маш сайн HTTP 200 хариултыг 500 миллисекунд доор дамжуулах боломжтой бөгөөд энэ нь үнэхээр хялбар хариултуудыг өгөх болно," Нэрра үзэсгэлэнд хэлсэн. "Your monitoring dashboards are green, but users are frustrated. Traditional performance testing doesn't catch this." Интеллектуал ялалт Narra-ийн дагуу, үндсэн асуудал нь AI систем нь не-детерминист юм. Эдгээр нэг эх сурвалж хоёр удаа өгдөг бөгөөд та техникийн тохиромжтой боловч чанарын янз бүрийн янз бүрийн outputs авах боломжтой. Хэрэглэгчийн үйлчилгээний AI нь нэг удаа асуултуудыг гайхамшигтайгаар шийдэж, дараа нь стандарт гүйцэтгэлийн хяналттай харьцуулахад харьцуулахад хоёр транзакцийг харьцуулана. Энэ өөрчлөн нь туршилтын туршилт үүсгэхийн тулд хязгаарлагдмал хэрэгсэл боловсруулсан биш юм. Ангилааны хугацааны метрик нь AI-ийн хэрэглэгчдийн санааг мэдэгдэж байгаа эсэхийг харуулдаг. Хязгаарлагдмал тоо нь системийн "контекст ширээний" дамжуулан ялгаруулдаг гэж харуулсан биш юм. Ажлын хуваалцны AI-ийн загварууд нь хуваалцлыг хадгалахын тулд ашигладаг бөгөөд хэрэглэгчдийн асуултуудыг харуулдаг. "Миний ачаалалтай интелигенцийг хэмнэх ёстой үед хурдыг хэмнэх болно," Нарра хэлсэн. Шинэ Metrics нь шинэ асуудал Narra-ийн үзэсгэлэн нь туршилтын бүтэц нь одоо ч байтугай мэдэгддэг хэд хэдэн AI-д тусгай гүйцэтгэлийн метрикуудыг харуулсан: Intent Resolution Time: Хэрэглэгчийн үнэхээр хүсэж байгаа зүйлийг идентичлэхэд AI-ийн цаг хугацаатай байх болно. Агент хурдан хариулах боломжтой боловч энэ хугацааны ихэнх хугацаа нь асуултанд хязгаарлагддаг. Хязгаарлалт үр дүнд: Системийн нягтрал үүсгэх үед үр дүнд. Хязгаарлалт дор өндөр нягтрал нь хэрэглэгчид мэдэгдэж байгаа чанарын бууруулах өмнө юм, харин хяналт хэрэгсэл биш. Token дамжуулалт: Дараа нь секундын дотор хүсэлтийг харахын тулд системийн үндсэн текст боловсруулах нэгжүүд нь хэд хэдэн токеныг харах. Дараа нь хоёр хүсэлтийг нэг удаа авах боломжтой боловч янз бүрийн компьютерийн эрчим хүчний хэрэглэж болно. Контекст ширээний хэрэглээ: Системийн үйл ажиллагаа нь 90% -ийн контекст хүчин чадалтай үйл ажиллагаа явуулж байгаа агент нь нэг хуваалцах нь хязгаарлагдмал юм, гэхдээ уламжлалт хяналт нь хэзээ ч арилжааны хязгаарлалт үздэг. Хязгаарлалт хязгаарлалт: Хязгаарлалт түвшин, харин хязгаарлалт хугацаа нь хүлээн зөвшөөрч байна. Бусад хэрэглээнд харьцуулахад бүх хүсэлт нь харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад АИ-ийн интеракцид долларыас харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад. Непредсказуемаар туршиж Нэг практик асуултууд Narra нарийвчлан: AI системд реабилитийн туршилтын өгөгдлийг үүсгэх нь уламжлалт хэрэглээнд харьцуулахад хялбар юм. Хэрэглэгчийн нэр, нунтаг хэрэгтэй. AI-ийн хэрэглэгчийн үйлчилгээний агент нь олон янз бүрийн, урьдчилан сэргийлэхгүй асуултуудыг хүсч байна. Түүний арга хэрэгсэл нь үйлдвэрлэлийн дөрвөлжин дөрвөлжин дэлгэцээс хүснэгт загварыг олж авах, дараа нь програмын өөрчлөн үүсгэхийн тулд: синоним, рефрэссинг, эртний тохиолдолд. Түүний зорилго нь синтетик өгөгдлийн цуврал үүсгэх бөгөөд энэ нь зүгээр л нэг ижил асуултуудыг өөртөө тогложгүйгээр дэлхий даяар хүний урьдчилан сэргийлэх юм. "Та нэг асуултанд 1,000 копийн AI-ийг туршиж чадахгүй байна," Тэр хэлсэн. "Систем үнэхээр янз бүрийнээс янз бүрийн аргаар туршиж болно. Та эвдэх өгөгдлийг хүсч байгаа эсэхийг хүсч байна." Модель Drift асуудал Үүнээс гадна Narra харьцуулагдсан: AI систем нь статик байхгүй. загварууд шинэчилж, шинэчлэгдсэн байх үед, тэдний гүйцэтгэлийн шинж чанарыг өөрчилж, харин харин харуулсан кодыг өөрчилж байна. Өнгөрсөн сарын 1000-ийн хооронд хэрэглэгчдэд тохиромжтой ажиллуулах агент нь загварын шинэчлэлт дараа 500-ийг харьцуулах болно. Энэ нь бурууны хувьд биш, шинэ загвар нь янз бүрийн ресурсны хэрэглээний загваруудтай. "Энэ нь гүйцэтгэлийн туршилтын нэг удаагийн баталгаажуулалт байж чадахгүй гэж хэлж байна," Нарра хэлсэн. "Тайвтай морилно уу, AI хөгжилтэй байх ёстой." Тэр Apache JMeter гэх мэт уламжлалт ачаалал туршилтын хэрэгслүүд нь AI-д мэдэгдэх чадвартай: токейн боловсруулах хурдыг хэмжих, контекст хэрэглээг дагаж, ачаалалгүйгээр ачаалалтай хэзээ ч семантик нарийвчлал хянах тохируулгыг харуулж байна. Хязгаарлалт Edge Судалгааны системийг туршиж, гадаргын хөдөлгүүрийн, мэргэшсэн тоног төхөөрөмж дээр суурилсан алдартай байдал туршилтын талаар дэлгэрэнгүй үзсэн. Narra илгээсэн арга замыг туршиж, агентлууд нь түдгэлзүүлсэн үйлчилгээ, context corruption, эсвэл ресурсны хязгаарлагдмал байдалээс тавтай морилно уу. Түлхүүр системд ажиллаж байгаа эсвэл алдааг явах. АИ систем нь ихэвчлэн тусалдаг, тусалдаггүйгээр техникийн "хавсралтгүйгээр" нууцлагдсан нь тусалдаг. Эдгээр гайхалтай алдааг тест хийх нь бинар хоосон / алдааг баталгаажуулахээс өөр техникийг шаарддаг. "Хэвлэхэд найдвартай асуудал нь бүх зүйлийг бүртгүүлэхийн тулд тохиромжтой байдаг боловч хэрэглэгчийн туршлага нь гайхамшигтай байдаг", тэр мэдэгдсэн. Аж үйлдвэрийн adoption асуулт Эдгээр арга замыг салбарт стандарт болгон болохыг мэдэхгүй байна. АИ-ийн туршилтын зах зээлд шинэчлэгдсэн бөгөөд ихэнх аж ахуйн нэгжүүд одоо ч бас алдартай гүйцэтгэлийн инженерийн талаарх үндсэн АИ-ийн суулгахыг мэдэгдэж байна. Зарим практикчид одоогийн харах боломжтой хэрэгслүүд нь бүрэн шинэ туршилтын парадигмуудыг шаарддаггүйгээр шинэ метрикейг нэмж болно. DataDog болон New Relic гэх мэт гол хяналт ханган нийлүүлэгч нь AI-д тусгай шинж чанарыг нэмж байна, зах зээлд революцийг бодож байна. Нэрра үзэсгэлэн нь хурдан байна: "Баруун баг нь энэ хэрэгцээтэй байхыг мэддэггүй бөгөөд энэ нь үйлдвэрлэхэд хязгаарлагдмал зүйлийг тээвэрлэж байна. Бид энэ үзэсгэлэнт хурдан дамжуулахыг хүсч байна." Өнгөрсөн Narra's TestIstanbul session-ийн өндөр үзэсгэлэн, конференц оролцогчид 60% -ийг олж авахын тулд туршилтаар туршилтын орон сууц нь AI системийг хэрхэн ажиллуулах, одоогийн туршилтын талаарх харьцуулалттай байдаг. Narra-ийн тусгай арга хэрэгсэл эсвэл туршилтын методологийг амжилттай байхдаа, дэлгэрэнгүй асуултууд байна: AI-ийн туршилтын шинж чанарыг үйлдвэрлэлийн инфраструктур руу дамжуулан, туршилтын арга хэрэгсэл нь харьцуулахад хөгжиж байх ёстой. Одоогийн хувьд, AI-ийг өргөн хүрээний инженерийн багтаамжтай асуултууд нь хялбар юм: Хэрэв та ямар нэг зүйлийг урьдчилан сэргийлэхийн тулд загварлах вэ? Нэрра-ын дагуу, хариу эхлэх нь уламжлалт метрикүүд нь үнэхээр чухал зүйлсийг харахгүй бөгөөд шинэ зүйлсийг бий болгохын тулд эхэлнэ.

This story contains new, firsthand information uncovered by the writer.

Read My Stories

Энэхүү аудио нь түүхийн эх хэлээр хийгдсэн болно!

Хэвийн ачаалал туршилтын орчин үеийн AI системийн хувьд үр дүнтэй юу вэ?

About Author

Сэтгэгдлүүд

TAG ҮҮ

ЭНЭ ӨГҮҮЛЛИЙГ ТОЛГОЙЛУУЛСАН

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps