איך ChatGPT באמת עובד? 

אם אי פעם מצאתם את עצמכם מתפעלים מאיך אפשר להגיע לתשובות קוהרנטיות ורלוונטיות להקשר (ברוב הזמן), אתם לא לבד. אבל מה באמת קורה מאחורי הקלעים?

אולי אתם חושבים שזה לא באמת משנה איך ChatGPT עובד. אבל הייתי טוען שזה חיוני לפחות להבין את היסודות. במיוחד ככל שסוג זה של בינה מלאכותית הופך להיות מושרש יותר ויותר באופן שבו אנו חיים ועובדים. אם תתייחסו אליו כמו ל"קסם", סביר יותר שתסתמכו עליו יתר על המידה או שתשתמשו בו בדרכים שלא משרתות אתכם.

במדריך זה, נבהיר את התהליך שמאחורי הכישורים שלו ונתקדם במידה מסוימת לקראת הבנת האופן שבו ChatGPT עובד בפועל.

כיצד ChatGPT מפרק את מה שאתם אומרים?

ChatGPT הוא סוג של בינה מלאכותית הנקראת (LLM). באופן ספציפי יותר, זהו מודל שפה סיבתי, כלומר הוא מייצר טקסט על ידי ניבוי המילה הבאה (או חלק ממילה) בהתבסס על מה שקדם לה. חשבו על זה כמו טקסט ניבוי בטלפון שלכם, רק הרבה יותר מתקדם.

לפני ש-ChatGPT יכול לבצע ניבויים, הוא צריך לעבד את מה שאתם מבקשים ממנו לעשות בצורה שהוא יוכל להבין. כאן נכנס לתמונה.

אסימונים הם יחידות הטקסט הבסיסיות ש-ChatGPT עובד איתן. אסימון יכול להיות קצר כמו תו בודד או ארוך כמו מילה שלמה. לדוגמה, המילה "ChatGPT" עשויה להיות מפוצלת לאסימונים "Chat" ו-"GPT".

כאשר אתם מזינים הנחיה, ChatGPT ממיר אותה לרצף של אסימונים אלה. לאחר מכן הוא מנתח את האסימונים ומתחיל לחזות את הבא שוב ושוב עד שתראה תגובה מלאה.

כיצד ChatGPT מחליט מה לומר בהמשך?

ChatGPT מייצר את תשובותיו אליך אסימון אחד בכל פעם. כך זה עובד:

ההנחיה שאתה כותב לתוך ChatGPT מחולקת לאסימונים.

ChatGPT מנתח את האסימונים הללו כדי להבין את ההקשר של מה שאתה שואל.

לאחר מכן הוא מחשב איזה אסימון צפוי להגיע הבא.

אסימון זה נוסף לרצף. המחזור חוזר על עצמו עד שהמודל משלים את תגובתו אליך.

יצירת אסימון אחר אסימון זו בזמן אמת היא הסיבה לכך שתשובות ChatGPT נראות לעתים קרובות כאילו הן מוקלדות. כי, במובן מסוים, הן כן; ChatGPT בונה את התשובה שלו עבורך אסימון אחד בכל פעם.

כיצד ChatGPT יודע מה חשוב?

ChatGPT פועל על סוג של מערכת למידה עמוקה הנקראת Transformer.

טרנספורמרים מסתמכים על משהו המכונה תשומת לב עצמית. זה עוזר ל-ChatGPT להחליט עד כמה חשובה כל מילה במשפט יחסית לאחרות.

תהליך זה הוא שמאפשר ל-ChatGPT לשקול את ההקשר של המילים.אבל הוא עושה זאת לא רק בבידוד, אלא ביחס למשפט המלא או להנחיה. וזה קריטי ליכולתו להבין ניואנסים ועמימות..

לדוגמה, ניקח את המשפט "הבנק לא יאשר את ההלוואה".

המילה "בנק" יכולה להתייחס למוסד פיננסי או לצד של נחל. הודות לתשומת לב עצמית, ChatGPT יכול להסתכל על המילים סביבו כדי להבין איזו משמעות מתאימה ביותר.

איך ChatGPT למד לדבר כמונו?

סקרנו כיצד ChatGPT קורא הקשר, מנבא מה צריך לבוא אחר כך, שם לב לחלק הנכון וחוזר על המחזור. אבל איך הוא באמת יודע באילו מילים להשתמש?

ובכן, היכולות של ChatGPT נובעות מאימון נרחב על מערכי נתונים עצומים ומגוונים. אלה אוספים עצומים של נתונים ממגוון רחב של מקורות. חשבו על זה כמו ספריית חומרי הקריאה של ChatGPT כדי להבין טוב יותר אותנו וכיצד אנו כותבים ומדברים.

התהליך מתרחש בשני שלבים עיקריים:

ChatGPT לומד לחזות את האסימון הבא במשפט על ידי ניתוח כמויות עצומות של טקסט. זה עוזר לו להבין דקדוק, עובדות על העולם ואפילו כמה מיומנויות חשיבה בסיסיות.

המודל מכוון עדין על מערכי נתונים ספציפיים יותר. זה כרוך לעתים קרובות בסוקרים אנושיים, המספקים משוב כדי לעזור לעצב את התנהגות המודל ולהפוך את תגובותיו לשימושיות יותר, מתאימות ותואמות לציפיות שלנו.

מדוע ChatGPT לא תמיד נותן את אותה תשובה?

כאשר ChatGPT מנבא את האסימון הבא, הוא לא סתם בוחר מילה באופן אקראי. במקום זאת, הוא מחשב את ההסתברות של כל האסימונים האפשריים ובוחר את זה שסביר להניח שיגיע לאחר מכן.

גישה זו היא המאפשרת ל-ChatGPT לייצר תגובות שבדרך כלל קוהרנטיות ומתאימות להקשר.

מעניין לציין, שהיא גם מסבירה כיצד ניתן להכניס את אותו הדבר ל-ChatGPT יום אחד וזה יכול לגרום לתשובות שונות למחרת. הסיבה לכך היא שאפשרויות מרובות של אסימון הבא עשויות להיות בעלות הסתברויות דומות.

ChatGPT הוא כלי חכם, אבל לא מוח

למרות ש-ChatGPT יכול לייצר תגובות אנושיות באופן מרשים, חשוב לזכור שהוא לא באמת מבין שפה כמו שאתה ואני.

אין כאן מודעות או הבנה. במקום זאת, הוא פועל לזיהוי דפוסים ולמציאת קורלציות בנתונים שהוא מוצג איתם ומאומן עליהם. בעיקרו של דבר, זוהי מכונת חיזוי מתקדמת.

ללמוד את זה באמת חשוב כשחושבים על המגבלות של הבינה המלאכותית. זה אומר שהיא לא באמת מבינה מה אתה אומר או תופסת את המשמעות שמאחורי זה. במקום זאת,זה מייצר טקסט המבוסס על דפוסים סטטיסטיים.

זה גם מסביר מדוע; זהו המונח המשמש לתיאור האופן שבו ChatGPT ותוכניות לימודים אחרות יכולות לייצר תגובות שגויות, מעורפלות או חסרות משמעות.

אנחנו גם צריכים לזכור ממה מורכב מערך הנתונים העצום שעליו הוא מאומן (חומר הקריאה הראשוני) – כי הוא לומד מטקסט קיים. וזה אומר שכלי בינה מלאכותית יכולים גם לשקף באופן לא מכוון הטיות שהיו קיימות בחומר ההדרכה החשוב הזה. זה כמו אם הייתם קוראים על ההיסטוריה של העולם, אבל רק מנקודת מבטם של כמה מאות אנשים.

ChatGPT היא טכנולוגיה מרשימה ויכולתה לייצר תגובות שוטפות ורלוונטיות הופכת אותה לכלי רב עוצמה לכל דבר, החל מפרודוקטיביות ועד סיעור מוחות יצירתי.

אבל אני מקווה שמה שהמדריך הזה מראה לכם הוא שזה עדיין רק כלי. הוא לא חושב או מבין כמונו, במקום זאת הוא מנבא. ושמירה על כך בחשבון היא המפתח לשימוש חכם ויעיל בו.