الرئيس التنفيذي لشركة Boomi يشارك رؤيته لإدارة تكاليف الذكاء الاصطناعي

وتأمل Boomi أن تتمكن من تزويد قادة تكنولوجيا المعلومات برؤية أكبر لإنفاقهم الرمزي، وهو أمر يفتقر إليه جميع أنحاء الصناعة. تعمل الشركة على تطوير أداة تسمى Boomi Prompt، والتي تعمل بمثابة برنامج وسيط بين تطبيقات المؤسسة ونماذج اللغات الكبيرة ووكلاء الذكاء الاصطناعي (AI) الذين يحتاجون إلى الوصول إلى هذه الأنظمة لأداء مهمة نيابة عن مستخدم بشري.

مع بدء تزايد استخدام الذكاء الاصطناعي ووكلاء الذكاء الاصطناعي، ينتقل مقدمو نماذج اللغات الكبيرة (LLMs) وأدوات الذكاء الاصطناعي من ترخيص البرامج على غرار الاشتراك أو البرامج كخدمة (SaaS) إلى التسعير بناءً على التكاليف المرتبطة باستدلال الذكاء الاصطناعي، والتي يتم قياسها بالرموز المميزة.

الرمز المميز هو أصغر جزء من المعلومات التي يأخذها محرك الذكاء الاصطناعي أو LLM كمدخلات، مثل كلمة في جملة. كلما زاد حجم الرموز المميزة المقدمة إلى LLM، زاد استخدام الرمز المميز، وهذا يعادل المزيد من الموارد الحسابية التي يحتاجها المزود. هذه التكلفة هي التكلفة الرمزية التي تدفعها المؤسسة لإرسال الاستعلام إلى أداة الذكاء الاصطناعي.

إذا تم إرسال الاستعلام بشكل مستمر، فسيتم دفع تكلفة الرمز المميز مرارًا وتكرارًا، حتى لو كانت المؤسسة لديها الإجابة بالفعل. يهدف Boomi إلى تخزين هذه الاستجابات المتكررة مؤقتًا، لتجنب إنفاق المؤسسات بشكل غير ضروري على الرموز المميزة عندما يكون لديها الإجابة بالفعل.

وفقًا لـ Boomi، فإن أداة المطالبة قادرة أيضًا على معرفة LLM الأقل تكلفة للإجابة على سؤال المستخدم أو وكيل الذكاء الاصطناعي.

وفي حديثه في جولة Boomi العالمية في لندن، قال الرئيس التنفيذي للشركة، ستيف لوكاس، إن الشركة ستطلق أداة تسمى Prompt في وقت لاحق من هذا العام والتي “توفر طبقة” بين محرك الذكاء الاصطناعي وأي نظام خلفي.

قد يسعى الوكيل إلى العثور على المعلومات الموجودة في نظام SAP أو Oracle، باستخدام واجهة برمجة التطبيقات (API)، أو يمكنه الاتصال بـ LLM. عندما يُطلب من الوكيل القيام بمهمة، قال: “إذا كان يبحث عن بيانات من نظام SAP ونظام Oracle، وتم تخزين الإجابة على الموجه مؤقتًا في طبقة الموجه لدينا، فسنقدم تلك الاستجابة المخزنة مؤقتًا.”

وهذا يوفر التكاليف المرتبطة بالاستخدام المستمر لواجهات برمجة التطبيقات للوصول إلى برامج المؤسسة التجارية الجاهزة، حيث قد تكون هناك تكلفة وصول غير مباشرة مرتبطة بواجهة برمجة التطبيقات تلك.

وقال لوكاس إن أداة Boomi الجديدة قادرة أيضًا على فهم متى يمكن توجيه المطالبة المقدمة من قبل مستخدم أو وكيل إلى استعلام قياسي يعتمد على SQL مثل بحث Google، بدلاً من “حرق الرموز المميزة”.

ومع ذلك، قال: “إذا كانت هذه المطالبة ذات قيمة، فسنوجهها إلى نموذج الذكاء الاصطناعي، وسيعتمد النموذج الذي نختاره على مدى التعقيد المقدر لتلك الاستجابة”.

وقال إن أحد الأمثلة على المطالبة هو سؤال التنبؤ مثل النفقات عبر نظامين. وقال لوكاس: “لدينا Nemotron من Nvidia، والذي، في هذا السيناريو الافتراضي، مجاني عمليًا لإدارة أعمالي”. “سوف نقوم بتوجيه الموجه هناك.”

وفقًا للوكاس، يعد التوجيه الفوري قدرة معقدة ولكنها ضرورية للغاية للمؤسسة، والتي قال إنها غير مخدومة تمامًا اليوم. قال لوكاس: “لا يوجد معيار توجيه سريع متطور للمؤسسة”.

على الرغم من أن Perplexity تقدم توجيهًا سريعًا، وفقًا للرئيس التنفيذي لشركة Boomi، إلا أنها ليست موجهة نحو المؤسسات. وقال إن نهج بومي يهدف إلى الذهاب إلى أبعد من ذلك. وقال لوكاس: “إن العمل الذي نقوم به يحتوي على العديد من الطبقات وتخفيض الرمز المميز، والتحسين هو إحدى تلك الطبقات”. “سيسمح التوجيه الفوري للشركات بتقليل إنفاقها على الرموز المميزة بشكل كبير. هدفنا من التصميم هو تحقيق تخفيض أكبر من 50٪ في إنفاق الرموز المميزة في المؤسسة.”