Episodes
-
הפרק סיקרנו מאמר שאדם כתב, שעוסק בדיון העכשווי והקריטי סביב פיתוחOpen Source vs Close Source AI - דיון על התצורה שעלינו לפתח את הטכנולוגיה הזאת - האם היא צריכה להיות מפותחת בצורה סגורה ו"מבוקרת" על ידי גורמים וחברות בודדות, או האם הפיתוח צריך להיות יותר פתוח ונגיש לכולם, מה יהיה יותר בטוח - והאם יש דוגמאות מהעבר שעליהן ניתן לבנות את הטענה הזאת?
המאמר נכתב תוך התייחסות לספר "The Coming Wave" של מוסטפא סולימאן, מי שהקים את החברה האגדית DeepMind שנמכרה לגוגל, ומי שהיום מריץ את אחת החברות AI המעניינות.
דיברנו על האינטרסים השונים של החברות הגדולות לסגור או להקשות על תחרות מצד סטארטפים יותר קטנים, מה זה המושג "שבי רגולטורי" ואיך חברות גדולות משתמשות בו, אבל מניפות את הדגל "זה בשביל הביטחון של האנושות" - ותנועת הנגד שנוצרה שנקראת e/acc , הדברים הטובים בה, אך גם עם ביקרות כלפיה.
קישורים:
המאמר של אדם: https://essays.adamcohenhillel.com/p/countering-the-coming-wave-by-mustafa
מוסטפא סולימאן: https://en.wikipedia.org/wiki/Mustafa_Suleyman
קישור לספר "The Coming Wave": https://www.the-coming-wave.com/
סרטון שמסביר בצורה מדהימה את הבעייתיות עם שבי רגולטורי:https://www.youtube.com/watch?v=F9cO3-MLHOM&ab_channel=All-InPodcast
תנועת הe/acc: https://effectiveaccelerationism.substack.com/p/repost-effective-accelerationism
דיון בטוויטר בין מארק טדמארק (מחבר הספר Life 3.0) ליאן לקון (head of AI של Meta\Facebook):https://twitter.com/ylecun/status/1718670073391378694
הדוקמינטרי על DeepMind ו-AlphaGo:https://www.youtube.com/watch?v=WXuK6gekU1Y&ab_channel=GoogleDeepMind
-
בפרק אירחנו את מייק ארליכסון, דוקטור למתמטיקה מהטכניון, מומחה בינה מלאכותית ו-Machine Learning, וכיום עובד כ AI Tech Lead בחברת Salt Security.
מייק הוא אחד האנשים היותר פעילים בקהילת הבינה מלאכותית בארץ, Machine Learning Israel, שם, בפייסבוק ובטוויטר - הוא עובד על הנגשת התכנים האקדמיים לקהל רחב יותר על ידי סיכום מאמרים בקצרה ובעברית (הפינה נקראת #shorthebrewpapereviews). בנוסף, מייק גם כתב ספר deep learning בעברית, שזמין בחינם לכולם באינטרנט.
בפרק צללנו ישר אל מה היא ארכיטקטורת הטרנספורמים (Transformers), הארכיטקטורה שהיוותה את השינויי המשמעותי ביותר בעולם הAI בשנים האחרונות. דיברנו על מה עשה את הארכיטקטורה כל כך מיוחדת ושונה מהארכטיקטורות שקדמו לה, תהליך האימון שOpenAI עשו עם RLHF - שהתוצר הסופי הוא לא פחות מ-ChatGPT שכולנו מכירים.
משם לקחנו את השיחה למקום קצת אחר, ופחות טכנולוגי: האתגרים בעולם בו אין יותר מידע "טהור," כלומר מידע שלא מותנה באידיאולוגיה או מניעים ספציפיים, אלא עובדות כעובודות. דיברנו על איך עולם הבינה מלאכותית מעצים את אותם אתגרים, והאם יש איך להילחם בזה - מהצד הטגנולוגי, וכן מהצד התרבותי. הדרך בה אנחנו צורכים תוכן תיהיה חייבת להשתנות כדי להתאים את עצמנו יותר לאתגרים העכשוויים.
נענו בין אופטימיות לגבי העתיד ופסימיות מכורח המציאות הנוכחית והמסלול עליו נראה שאנחנו נמצאים עם הבעיותות של טיקטוק ועוד.
קישורים מהפרק:
מייק בטוויטר: https://twitter.com/MikeE_3_14
הספר Deep Learning בעברית: https://github.com/AvrahamRaviv/Deep-Learning-in-Hebrew
קהילת AI ישראל: https://machinelearning.co.il/
מאמר בעברית על הארכיטקטוריות שהיו לפני הטרנספורמים, ודיברנו עליהם בפרק: https://machinelearning.co.il/14698/transformers-section-1/
ערך ויקיפדיה על ארכיטקטורת הטרנספורמרים:https://he.wikipedia.org/wiki/%D7%98%D7%A8%D7%A0%D7%A1%D7%A4%D7%95%D7%A8%D7%9E%D7%A8_(%D7%9C%D7%9E%D7%99%D7%93%D7%AA_%D7%9E%D7%9B%D7%95%D7%A0%D7%94)
טרנסםורמרים ומגנון הקשה העצמי ("self-attention") על פי הספר למידה של מייק: https://github.com/AvrahamRaviv/Deep-Learning-in-Hebrew/blob/main/08%20-%20Attention.pdf
-
Missing episodes?
-
הפרק אירחנו את ד"ר דויד קובץ׳ - חבר סגל בכיר בחוג לפילוסופיה באוניברסטית תל אביב - המתמחה בעיקר במטפיזיקה אנליטית (אל תדאגו, דוד מסביר מה זה בפרק). לדויד יש עניין רב גם תחומים נוספים בפילוסופיה, כמו הפילוסופיה של הנפש, אפיסטמולוגיה, ועוד.
את הפרק פתחנו בלהסביר מה זה בכלל פילוסופיה מטאפיזית, והגישה האנליטית, ומשם התמקדנו בתחום ההתמחות של דוד זהות אישית(מה אנחנו, בעצם, ומתוקף מה אנחנו מתקיימים לאורך זמן?), איך זה מתקשר לעולם הנוכחי והעתידי עם בינה מלאכותית, העתקת תודעה לענן - ו
קישורים:
ספר כניסה לעולם הפילוסופיה - עולמה של סופי - https://he.wikipedia.org/wiki/%D7%A2%D7%95%D7%9C%D7%9E%D7%94_%D7%A9%D7%9C_%D7%A1%D7%95%D7%A4%D7%99
הדיאלוגים של אפלטון - https://he.wikipedia.org/wiki/%D7%A4%D7%99%D7%99%D7%93%D7%95%D7%9F_(%D7%93%D7%99%D7%90%D7%9C%D7%95%D7%92_%D7%90%D7%A4%D7%9C%D7%98%D7%95%D7%A0%D7%99)
פילוסופיה אנליטית - https://he.wikipedia.org/wiki/%D7%A4%D7%99%D7%9C%D7%95%D7%A1%D7%95%D7%A4%D7%99%D7%94_%D7%90%D7%A0%D7%9C%D7%99%D7%98%D7%99%D7%AA
הגישה הלוקיאנית (פסיכולוגית) לזהות האני - https://he.wikipedia.org/wiki/%D7%92%27%D7%95%D7%9F_%D7%9C%D7%95%D7%A7
הגישה הקונבנציליסיטת-
הגישה הביולוגית -
החוג הווינאי - https://he.wikipedia.org/wiki/%D7%94%D7%97%D7%95%D7%92_%D7%94%D7%95%D7%95%D7%99%D7%A0%D7%90%D7%99
https://en.wikipedia.org/wiki/Philosophy_of_mind
-
בפרק שמחנו לארח את ד"ר אלכסנדר יעקובסון, היסטוריון ופרופסור באוניברסיטה העברית שמתמחה בהיסטוריה הרומית. בפרק דיברנו על מה קרה מאחורי הקלעים של ההתרחבות הרומית, המעבר לרפובליקה וההשפעות של אותה תקופה על החיים המודרנים - הדיונים הפוליטיים, החברתיים והחוקתיים שהרומאים דנו, שפוגשים אותנו גם היום.פרק גם יצא לנו לדבר על איך אנחנו (באופן יחסי) חיים בתקופה חסרת מלחמות, מה זה אומר להיות היסטוריון, ולמה חשוב ללמוד היסטוריה בצורה אובייקטיבית.
-
בפרק הזה אירחנו את צוף בר אור, סטודנט לתואר שני ב Data Science, פרמדיק לשעבר, וכותב (בשפה של בני אדם) על בינה מלאכותית בטוויטר. שוחחנו על ארבעת מעגלי ההתעסקות עם בינה בינה מלאכותית, כיצד ניתן להיכנס לעולם הזה בלי רקע ולמה אנחנו כחברה צריכים לדאוג שהכלים הקיימים לא פוגעים בגלגל התמריצים שמניע את כלכלת האינטרנט. מעבר להיותו כותב בטוויטר צוף מתעסק במחקר המשלב כימיה עם בינה מלאכותית, נושא שגם אליו הגענו לדבר, והיה לנו מרתק להיחשף אליו.
קישורים מהפרק:
הטוויטר של צוף - https://twitter.com/tsoofbaror
איך ללמוד אלגברה ליניארית - https://www.youtube.com/watch?v=fNk_zzaMoSs
Brilliant אפליקציית למידה - https://brilliant.org/
כלי הAI שדיברנו עליהם:
https://www.midjourney.com/
https://openai.com/dall-e-2
https://app.grammarly.com/
https://chat.openai.com/
https://bard.google.com/
אתר "האיש הזה לא קיים" - https://this-person-does-not-exist.com/en
תוכנת יצירת וידיאו מטקסט - https://runwayml.com/
השימוע של סאם אלטמן מנכ"ל openAI בסנאט האמריקאי - https://www.youtube.com/watch?v=fP5YdyjTfG0
ההכרזה של OpenAI על הגישה שלהם לבטיחות בבינה מלאכותית https://openai.com/blog/our-approach-to-ai-safety
שיטת ריצרד פיימן ללמידת דברים חדשים - https://freegrowth.co.il/feynman-technique/
סרטון של שילוב המימים באמצעות הכלי החדש של פוטושופ: https://www.youtube.com/shorts/YWy9YybonDY
וכמובן, קישור לטוויטר שלנו, מוזמנים לפנות אלינו בפרטי!
ים - https://twitter.com/YamCatzenelson
אדם - https://twitter.com/adamcohenhillel
-
פרק הפתיחה, בו הצגנו את עצמנו ואת הסיבות מאחוריי יצירת הפודקאסט, מתעסק בעיקר סביב הקונספט החדש בעולמות הבינה מלאכותית (AI) שנקרא Autonomous Agents (ובקיצור AutoGPT, או BabyAGI). בפרק אנחנו משוחחים על ההשפעות העתידיות של התחום על שוק העבודה ככלל ומתכנתים בפרט , החיבור לעולם הגיימינג ואיך כל זה מתקשר לתיאוריית הסימולציה.
קישורים מהפרק:
1. המאמר של סטנפורד: https://arxiv.org/pdf/2304.03442.pdf
2. המאמר על הפרוייקט של אדם: https://adamcohenhillel.substack.com/p/experiments-with-autonomous-gpt-agents
3. הסדרה "ווסטוורלד": https://www.imdb.com/title/tt0475784
4. אנדרו קרפטתי (ממייסדי OpenAI) בטוויטר: https://twitter.com/karpathy
וכמובן, קישור לטוויטר שלנו, מוזמנים לפנות אלינו בפרטי!
ים - https://twitter.com/YamCatzenelson
אדם - https://twitter.com/adamcohenhillel
