בשנה שעברה, קבוצת מדעני מחשבים גרמנים עשתה גלים על ידי הדגמת אלגוריתם מחשבים חדש שיכול להפוך כל תמונת סטילס דיגיטלית ליצירות אמנות המחקות את הסגנונות הציוריים של אדונים כמו וינסנט ואן גוך, פבלו פיקאסו ואדוארד מונק. למרות הישג מרשים, השימוש באותה טכניקה על תמונות נעות נראה מקומם באותה תקופה. אולם כעת, קבוצה אחרת של חוקרים הבינה זאת, מייצרת במהירות ובאופן חלק יצירות מופת דיגיטליות מרגשות, כותב קרל אנגלקינג ל- Discover .
תוכן קשור
- הסרט האנימציה הזה על ואן גוך עשוי כולו מציורי שמן
- רשת עצבית מלאכותית זו מייצרת קווי איסוף אבסורדי
בהדגמת וידאו, המתכנתים מראים את היכולות האמנותיות של האלגוריתם שלהם על ידי הפיכת סצינות מסרטים ותוכניות טלוויזיה כמו עידן הקרח ומיס מארפל לאנימציות דמויות ציור בלחיצת עכבר. אבל פיתוח האלגוריתם לא היה שום הישג קטן.
כדי ליצור טרנספורמציה כה מפורטת, מדען המחשבים ליאון גטיס ועמיתיו מאוניברסיטת טובינגן פיתחו אלגוריתם למידה עמוקה שגורם לרשת עצבית מלאכותית. על ידי חיקוי הדרכים בהן נוירונים במוח האנושי יוצרים קשרים, מערכות למידת מכונות אלה יכולות לבצע משימות מורכבות בהרבה מכל מחשב נייד ישן.
כך זה עובד: כשאתה מסתכל על תמונה של ציור או צופה בסרט במחשב הנייד שלך, אתה רואה שהמחשב שלך מפענח את המידע בקובץ ומציג אותו בצורה הראויה. אך כאשר התמונות הללו מעובדות דרך רשת עצבית, המחשב מסוגל לקחת את שכבות המידע הרבות השונות הכלולות בקבצים אלו ולבחור אותן זו אחר זו.
לדוגמה, שכבה אחת עשויה להכיל את המידע על צבעי הבסיס בליל הכוכבים של ואן גוך, בעוד שהשכבה הבאה מוסיפה מעט יותר פירוט ומרקם, וכן הלאה, על פי MIT Technology Review . לאחר מכן המערכת יכולה לשנות את כל השכבות השונות בנפרד לפני שתחבר אותן יחד כדי ליצור תמונה חדשה לגמרי.
"אנו יכולים לתפעל את שתי הייצוגים באופן עצמאי כדי לייצר תמונות חדשות בעלות משמעות תפיסתית." כתב גטיס במחקר שפורסם לשרת ה- prepress של arXiv.
על ידי יישום מערכת לימוד מבוססת שכבה על ציורים של פיקאסו ואן גוך, אם נזכיר כמה, החוקרים הצליחו לפתח אלגוריתם ש"לימד "את המחשב לפרש את כל המידע הזה באופן המפריד בין התוכן של ציור מסגנונו. לאחר שהבין כיצד ואן גוך השתמש במתיכות וצבע, הוא יכול להחיל סגנון זה כמו פילטר של פוטושופ על תמונה ולשחזר אותו ביעילות בסגנון האייקוני שלו, כתב מאט מקפרלנד ל"וושינגטון פוסט " . אולם יישום טכניקה זו לווידיאו הציג מערכת חדשה לגמרי של בעיות.
"בעבר, רישום ידני של דימוי בסגנון אמנותי מסוים נדרש לאמן מקצועי והרבה זמן", כותבים מנואל רודר וצוותו מאוניברסיטת פרייבורג במחקרם החדש שפורסם גם ב- arXiv. "לעשות זאת עבור רצף וידיאו ביד אחת היה מעל לכל דמיון."
כשרודר ועמיתיו ניסו לראשונה ליישם את האלגוריתם על קטעי וידיאו, המחשב נגש את ה- gobbledygook. בסופו של דבר הם הבינו שהתוכנית מתייחסת לכל מסגרת של הווידיאו כתמונת סטילס נפרדת, מה שגרם לסרטון להבהב בצורה לא-תקינה. כדי לעבור על סוגיה זו החוקרים שמו אילוצים באלגוריתם שמנע מהמחשב לסטות יותר מדי בין פריימים, כותב אנגלקינג. זה איפשר לתוכנית להתיישב ולהחיל סגנון עקבי בכל הסרטון.
האלגוריתם אינו מושלם ולעיתים קרובות מתקשה להתמודד עם תנועה גדולה ומהירה יותר. עם זאת, זה עדיין מייצג צעד חשוב קדימה בדרכים שמחשבים יכולים לעבד ולשנות וידאו. על אף שהוא נמצא בשלביו המוקדמים, אלגוריתמים עתידיים עשויים להיות מסוגלים להחיל אפקט זה על סרטונים שצולמו באמצעות אפליקציית סמארטפון, או אפילו להעביר גרסאות של מציאות מדומה לציורים המועדפים עליך, מדווח MIT Technology Review .
הרעיון של הרמת סגנון של אמן לסט של נקודות נתונים עשוי לדרג אנשים מסוימים, הוא גם פותח את הדלתות לכל מיני סוגים חדשים של אמנות שמעולם לא האמינו שאפשר.
