We use a third-party model like GPT or Claude. Is there anything to test?

Yes. The provider is responsible for its service layer, while your organization remains responsible for how the model is integrated and used. System prompts, retrieval sources, tool permissions, output handling, and access controls can introduce distinct risks that require application-specific review.

Do you need access to model weights or training data?

Often no. Many engagements can use black-box or grey-box access to the deployed application. If an organization trains or fine-tunes models and wants that pipeline in scope, the review can be extended to agreed data-provenance, poisoning-resistance, and supply-chain questions.

How is this different from a normal application penetration test?

The application layer remains important. AI Security adds model- and integration-specific questions such as prompt injection, tool misuse, retrieval boundaries, and unsafe output handling. It can be scoped alongside web application testing when both layers require evidence.

Will testing corrupt our model or data?

Some tests can change state, so the rules of engagement define permitted techniques, environments, data, stop conditions, and recovery steps. State-changing tests should use a non-production environment or a scoped, reversible dataset unless a different approach is explicitly authorized.

Can you help us fix what you find?

Yes. Findings come with a prioritized remediation roadmap, and the debrief walks your engineers through each result. For deeper work on architecture and guardrail design, that falls under Security Architecture.

أمن الذكاء الاصطناعي

ما هو؟

النموذج الخاص بك هو سطح هجوم جديد، وليس مجرد ميزة جديدة.

AI يفحص اختبار الأمان الأنظمة التي قمت بإنشائها على رأس التعلم الآلي - مساعدي الدردشة، وتطبيقات الاسترجاع المعززة، والوكلاء المستقلين، والمصنفات، وخطوط الأنابيب التي تدربهم وتخدمهم. نقوم باختبار النموذج والتطبيق الملتف حوله وحدود الثقة بينهما.

وهذا يعني التعامل مع النموذج باعتباره مكونًا غير موثوق به: ما الذي يمكن للمهاجم أن يجعله يقوله أو يكشفه أو يفعله، وماذا يحدث عندما ينتج شيئًا ضارًا؟

لماذا يهم؟

إن شحن ميزة LLM يمنح المكون الاحتمالي إمكانية الوصول بهدوء إلى بياناتك وأدواتك وأحيانًا عملائك. لا يشمل اختبار التطبيقات التقليدية الحقن الفوري، أو المعالجة غير الآمنة لمخرجات النموذج، أو الاستخدام المفرط للأداة، أو التعرض لبيانات التدريب - ولا تكتشف الماسحات الضوئية التقليدية أيًا منها.

نادرًا ما يكون وضع الفشل المهم هو أن يقول النموذج شيئًا محرجًا. وهو النموذج الذي يتم استخدامه كنائب مرتبك للوصول إلى الأنظمة التي لا يستطيع المهاجم الوصول إليها بشكل مباشر.

نهجنا

نمذجة التهديدات أولاً، ثم اختبار الخصومة

تم تنظيمه وفقًا لأفضل 10 تطبيقات OWASP لتطبيقات LLM وMITRE ATLAS، ويمكن الإبلاغ عنه وفقًا لإطار عمل إدارة المخاطر NIST AI. العمل اليدوي، وليس تشغيل الماسح الضوئي - تحدد التحقيقات الآلية خط الأساس، ولكن النتائج المهمة تأتي من التفكير البشري حول نظامك المحدد.

01

تحديد النطاق

نماذج الخرائط وتدفقات البيانات والأدوات وحدود الثقة.

02

نموذج التهديد

حدد ما يريد المهاجم أن يفعله النموذج.

03

اختبار الخصومة

الحقن، وكسر الحماية، وإساءة استخدام الأدوات، واستخراج البيانات.

04

إعداد التقارير

النتائج القابلة للتكرار مرتبة حسب تأثير الأعمال.

05

استخلاص المعلومات

قم بتوجيه فرق تعلم الآلة والهندسة الخاصة بك من خلال كل نتيجة.

التسليمات

ما تتلقى

AI نموذج التهديد

سطح الهجوم لنظامك، وحدود الثقة، وحالات إساءة الاستخدام.

تقرير النتائج

تحتوي كل مشكلة على المطالبات والخطوات الدقيقة لإعادة إنتاجها.

OWASP LLM رسم الخرائط

تم تعيين التغطية لتقنيات LLM Top 10 وMITRE ATLAS.

مراجعة الدرابزين

حيث يتم الاحتفاظ بالمرشحات ومطالبات النظام - وأين لا يتم الاحتفاظ بها.

خارطة طريق العلاج

الإصلاحات ذات الأولوية عبر النموذج والتطبيق والهندسة المعمارية.

إعادة اختبار مجانية

التحقق من النتائج الحرجة التي تم علاجها.

الصناعات التي نخدمها

مصمم للبيئات المنظمة وعالية الحساسية

ادارة العلاقات مع والتكنولوجياالخدمات الماليةالرعاية الصحيةالفضاء والأقمار الصناعيةتعليمالحكومة والقطاع العام

مقال ذو صلة · أمن الذكاء الاصطناعي

ارسم ستة حدود للثقة قبل إطلاق ميزة تعتمد على نموذج لغوي كبير

قد تعمل ميزة النموذج كحلقة وصل بين مدخلات غير موثوقة وبيانات المؤسسة والأدوات والإجراءات اللاحقة. يقدّم دليلنا إطاراً عملياً لمراجعة ستة حدود ضمن نطاق محدد قبل الإطلاق.

المدخلاتالسياقالهوية والبياناتالأدواتالمخرجاتالموافقة والمراقبة

مراجعة محددة النطاق قبل الإطلاق

استخدم الدليل لتحديد نطاق ميزة واحدة والأدلة التي ينبغي فحصها. وهو نقطة بداية، وليس ضماناً أمنياً أو تقييماً للامتثال.

المقال متاح باللغة الإنجليزية اقرأ المقال باللغة الإنجليزية

التعليمات

الأسئلة الشائعة

نستخدم نموذجاً تابعاً لجهة خارجية مثل GPT أو Claude. هل ما زال هناك ما يحتاج إلى اختبار؟

نعم. يتحمل المزود مسؤولية طبقة خدمته، بينما تبقى مؤسستك مسؤولة عن طريقة دمج النموذج واستخدامه. وقد تضيف مطالبات النظام ومصادر الاسترجاع وأذونات الأدوات ومعالجة المخرجات وضوابط الوصول مخاطر مختلفة تحتاج إلى مراجعة خاصة بالتطبيق.

هل تحتاجون إلى أوزان النموذج أو بيانات التدريب؟

ليس دائماً. يمكن إجراء كثير من المشاركات بصندوق أسود أو رمادي على التطبيق المنشور. وإذا كانت المؤسسة تدرب نماذجها أو تضبطها وتريد إدراج خط الأنابيب ضمن النطاق، فيمكن توسيع المراجعة لتشمل أسئلة متفقاً عليها حول مصدر البيانات ومقاومة التسميم وسلسلة التوريد.

كيف يختلف هذا عن اختبار اختراق تطبيق اعتيادي؟

تبقى طبقة التطبيق مهمة. ويضيف أمن الذكاء الاصطناعي أسئلة خاصة بالنموذج والتكامل، مثل حقن التعليمات وإساءة استخدام الأدوات وحدود الاسترجاع ومعالجة المخرجات غير الآمنة. ويمكن تحديد نطاقه إلى جانب اختبار تطبيقات الويب عندما تحتاج الطبقتان إلى أدلة.

هل يمكن أن يغير الاختبار النموذج أو البيانات؟

قد تغير بعض الاختبارات الحالة، لذلك تحدد قواعد المشاركة التقنيات والبيئات والبيانات المسموح بها وشروط الإيقاف وخطوات الاستعادة. وينبغي إجراء الاختبارات التي تغير الحالة في بيئة غير إنتاجية أو على مجموعة بيانات محددة وقابلة للعكس ما لم يُصرح صراحة بنهج آخر.

هل يمكنكم مساعدتنا في معالجة النتائج؟

يمكن أن تتضمن النتائج إرشادات معالجة مرتبة حسب الأولوية ومراجعة تقنية. ويمكن تحديد نطاق العمل الأعمق على الهندسة والضوابط ضمن هندسة الأمن.

اكتشف ما يمكن التحدث إلى نموذجك فيه

احجز استشارة مجانية وغير ملزمة مع فريقنا.

طلب استشارة