ידע מעשי של CyberFixCrew

כלי AI בארגון: איך שולטים בשיתוף נתונים

לפני שמאשרים כלי AI לעבודה, בדקו אם הספק משתמש בבקשות לאימון מודלים, כמה זמן הוא שומר שיחות וקבצים ולמי יש גישה אליהם. תעדו את התשובות עבור המוצר והמסלול שבהם הצוות משתמש.

אימון מודלים, היסטוריית שיחות ושמירת נתונים

OpenAI אינה מאמנת מודלים על נתוני ChatGPT Business, Enterprise או API כברירת מחדל. לשמירת שיחות וקבצים יש כללים נפרדים. Zero Data Retention (ZDR) ב-API של OpenAI דורש אישור וכפוף למגבלות של נקודות קצה ותכונות. יומני ניטור שימוש לרעה עשויים לכלול תוכן עד 30 יום בתצורת ברירת המחדל, בכפוף לחריגים.

Anthropic מפרסמת כללי שמירה נפרדים למוצרי השיחה המסחריים של Claude ול-API. Microsoft מציינת שבקשות ותשובות ב-Microsoft 365 Copilot אינן משמשות לאימון מודלי יסוד. נתוני שימוש עשויים להישמר בהתאם למדיניות הארגון ב-Microsoft 365. בדקו את תנאי החשבון ואת ההגדרות שלו.

וקטורי חשיפת מידע שכיחים בשימוש יומיומי ב-LLM

שלושה תרחישים מובילים את הסיכון: הדבקת נתונים סודיים לשורת השאילתה, העלאת קבצים עם מטא-דאטה והזרקת הוראות עקיפה (Prompt Injection). מפתחים מדביקים לעיתים מעקבי שגיאות עם סיסמאות למסדי נתונים, ומנהלי מכירות מצרפים טבלאות לידים עם מספרי טלפון ומספרי תעודת זהות.

הזרקת הוראות עקיפה מתרחשת כאשר מודל סורק דואר אלקטרוני נכנס או דפי אינטרנט של צד שלישי. הוראות מוסתרות גורמות לסוכן לקרוא מסמכים פנימיים ולשדר את המידע לשרת חיצוני בשליטת התוקפים.

הגדרת כללים לשיתוף נתונים

ספקו לעובדים חשבונות מאושרים והגדירו באילו נתונים מותר להשתמש. בדקו אילו בקרות גישה וחיבורים ליישומים זמינים במסלול שנבחר.

כלי מניעת דליפת נתונים (DLP) יכולים לזהות תבניות של מפתחות API ומספרי כרטיסים כשהמוצר או השער תומכים בבדיקה כזאת. בדקו בנפרד העלאת קבצים ויישומים מחוברים. מסנן תבניות עלול להחמיץ מידע רגיש.

מה לבדוק לפני שיתוף נתוני עבודה

אימון ושמירת נתונים לפי מוצר
מוצראימון מודליםהיסטוריה ושמירה
ChatGPT Business / Enterpriseנתוני עבודה מוחרגים כברירת מחדללבדוק היסטוריה והגדרות שמירה בסביבת העבודה
OpenAI APIנתוני API מוחרגים כברירת מחדללבדוק יומנים, שמירה בנקודות קצה וזכאות ל-ZDR
מוצרים מסחריים של Claudeלבדוק תנאים מסחריים והגדרותלבדוק שיחות ו-API בנפרד
Microsoft 365 Copilotבקשות ותשובות אינן משמשות לאימון מודלי יסודלבדוק היסטוריית שימוש ומדיניות שמירה של Microsoft 365

שלבי יישום להטמעה בטוחה של כלי בינה מלאכותית

סדר פעולות מעשי להגדרת סביבת העבודה והמחשבים הניידים של העובדים.

  1. למפות את הכלים והחשבונות שבהם משתמש כל צוות.
  2. לבדוק אימון, שמירה, העלאת קבצים וחיבורים לכל מוצר ומסלול מאושרים.
  3. להגדיר אילו סוגי נתונים מותר לשתף ולהוציא סיסמאות וטוקנים מבקשות ומקבצים.
  4. לבדוק את הגבלות השיתוף באמצעות נתונים סינתטיים.
  5. למנות אחראי לבדיקה חוזרת של ההגדרות, התנאים והיישומים המחוברים כשחל שינוי.
מקור מקצועי: NIST AI Risk Management Framework (AI RMF 1.0)מקור מקצועי: OWASP Top 10 for Large Language Model Applicationsמקור מקצועי: OpenAI Business Privacy and Enterprise Data Controlsמקור מקצועי: OpenAI API: data retention controlsמקור מקצועי: Anthropic: commercial data retentionמקור מקצועי: Microsoft 365 Copilot: data, privacy and security

תשובות ברורות

שאלות שעולות בנושא

האם כיבוי אימון המודלים מוחק את היסטוריית ChatGPT?

הגדרות האימון ומחיקת שיחות נפרדות. בדקו את כללי השמירה והחריגים בחשבון שלכם, כולל הטיפול בקבצים שהועלו.

האם בדיקות pre-commit מונעות העברת סודות לעוזר קוד?

בדיקת pre-commit רצה בעת ביצוע commit. בשלב הזה העוזר כבר עשוי היה לקרוא את הקובץ. שמרו סודות מחוץ להקשר הזמין לעוזר ובדקו הגדרות החרגה ושיתוף.

מה עושים אם עובד כבר העלה רשימת לקוחות?

תעדו מה שותף ולאן, הגבילו את הגישה לשיחה ופעלו לפי תהליך המחיקה של הספק. בטלו פרטי גישה שנחשפו. הגורם האחראי על הפרטיות יבדוק אם נדרשת הודעה.

מתקדמים לפי הצורך

בדיקת שיתוף נתונים עם כלי AI

אפשר לבדוק את הגדרות החשבונות, את היישומים המחוברים ואת המקומות שבהם נשמרים בקשות ויומנים.

בקשת בדיקה טכנית