in Technology

Google on AI – The Last 10% Takes 90% of the Effort

ความเคลื่อนไหวของกูเกิลในเดือนธันวาคม 2024 น่าสนใจมาก เพราะปล่อยของรัวๆ ทั้ง Willow Quantum Computer และ Gemini 2.0

กรณีของ Willow เป็นข่าวใหญ่ไปทั่วโลก คนจำนวนมากหันมาสนใจเรื่อง Quantum Computer จากข่าวนี้ แต่ในช่วงที่ Willow เปิดตัว ยังมีข่าวสำคัญอีกอย่างที่ถูก Willow กลบไปมิดเลย นั่นคือการออกมาให้สัมภาษณ์ของ Sundar Pichai ในเรื่องทิศทางภาพรวมของกูเกิล ช่วยให้เราได้เห็นและเข้าใจว่า ในหัวของผู้กุมอำนาจบริหารบริษัทเทคโนโลยีที่ใหญ่ที่สุดในโลกรายหนึ่ง เขาคิดอะไรบ้าง

เท่าที่ผมค้นหาจนเจอ พบว่า Pichai ให้สัมภาษณ์ 2 ครั้งในช่วงเวลาห่างกันประมาณ 1 สัปดาห์ ครั้งแรกวันที่ 5 ธันวาคม บนเวที DealBook ของ The New York Times (ก่อนเปิดตัว Willow)

ครั้งที่สองให้สัมภาษณ์เว็บข่าว Semafor ในวันที่ 13 ธันวาคม (หลังเปิดตัว Willow) เป็นบทสัมภาษณ์ขนาดยาว ที่พูดถึง quantum computer ด้วย

Semafor มีเวอร์ชันถอดความแบบสั้นๆ ด้วย แต่เนื้อหาเดียวกับบทความแรก

ผมคิดว่า Semafor พาดหัวเอาไว้ดีทั้งสองอัน อย่างแรกคือ Pichai พูดถึงเรื่องสำคัญของกูเกิล 3 อย่างคือ AI, Waymo และ Quantum Computer

พาดหัวอันที่สองพูดถึงว่า Pichai ไม่เคยตื่นตระหนก (panicked) เลย ซึ่งเป็นประเด็นที่เกี่ยวโยงกับพาดหัวอันแรก และเป็นเนื้อหาหลักในบทสัมภาษณ์ของ Pichai

ต้องเท้าความสักนิดว่า นับตั้งแต่ ChatGPT เปิดตัวในช่วงปลายปี 2022 กูเกิลนั้นเป็นฝ่ายตั้งรับมาโดยตลอด ในแง่ตัวผลิตภัณฑ์นั้น ChatGPT เหนือกว่าชัดเจน เมื่อพูดถึงแชทบอท AI ใครๆ ก็คิดถึง ChatGPT เป็นชื่อแรก ส่วนชื่อที่สองนั้นก็อาจไม่ใช่ Gemini ซะด้วยซ้ำ (บางคนใช้ Claude มากกว่า) ดังนั้นภาพลักษณ์ของกูเกิลจึงไม่ค่อยดีนัก เก่า เชื่องช้า ตกยุคแล้ว บางคนอาจคิดไปไกลถึงขั้น Pichai จะถูกไล่ออกด้วยซ้ำ

อย่างไรก็ตาม การ “ปล่อยของ” ของกูเกิลในช่วงรอบเดือนที่ผ่านมา แสดงให้เห็นว่ากูเกิลยังมีดีพอ และตัว Pichai เองบอกว่าเขาเชื่อมั่นในศักยภาพของกูเกิล แต่แผนการที่เขาวางไว้นั้นเป็น “แผนการระยะยาว”

Pichai บอกว่านับตั้งแต่เขารับตำแหน่งซีอีโอในปี 2015 เขาพูดถึงยุทธศาสตร์ว่ากูเกิลต้องเป็น AI-first company และวิธีการไปถึงจุดนั้นต้องเป็น full-stack approach to AI คือทำพร้อมกันทุกอย่าง ทั้งงานวิจัยระดับโลก (ที่ได้รางวัลโนเบล) และการสร้างโครงสร้างพื้นฐานที่ดีพอสำหรับประมวลผล AI

In 2015, I set the company [in] this AI-first direction. As part of that, we said we would do a deep, full-stack approach to AI all the way from world-class research, building the infrastructure. And then building models, both for us to developers, and putting it in our product.

ผมเคยเขียนเรื่องนี้ไว้บ้างเหมือนกัน

เขาบอกว่าในยุคปัจจุบันของ Gen AI ใครๆ อยากเห็นการออกโมเดลเจ๋งๆ มาแข่งกันทันที แต่ในมุมของเขาคือการวางพื้นฐานระยะยาว เริ่มจากการหลอมรวมทีม Google Brain กับ DeepMind ในเดือนพฤษภาคม 2023 และการเลือกวิธีสร้างโมเดล Gemini ที่เป็น multimodal ตั้งแต่แรก ต่างจากคู่แข่งที่เริ่มจากการเป็น text ล้วนๆ ซึ่งจะทำให้ Gemini เก่งกว่าในระยะยาว

And then in the current genAI moment, sometimes you invest to get things right upfront. For me, that was getting Google DeepMind set up from the ground up, start Gemini, and build it to be natively multimodal and with long context, and now at 2.0.

The combination of Google DeepMind and Google Research, they’re the most cited in this genAI field. We’re responsible for many of the breakthroughs on which this revolution is happening.

เขายังพูดถึงการวาง infrastructure โดยยกกรณีของการออกแบบ TPU เองว่าจะช่วยให้สเกลโมเดลได้ง่ายขึ้น (เคยเขียนเรื่อง TPU เอาไว้)

Pichai ชี้ว่าการวางรากฐานให้ถูกต้อง จัดโครงสร้างทีมให้เหมาะสม ตอนนี้เราเริ่มเห็นกูเกิลเริ่ม “ปล่อยของ” ได้สักที แถมจังหวะการปล่อยของจะยิ่งเร็วขึ้นด้วย เพราะการวางรากฐานเหล่านี้เป็น fixed cost ที่ลงทุนไปเรียบร้อยแล้ว

So it’s getting that foundation right, and aligning teams, setting up the company. And I think you’re seeing… the benefits of all that beginning to ship, get out in the hands of people. I expect our pace to be higher because there’s always a fixed cost.

Pichai ชี้ว่าของหลายอย่างมันเป็นเกมระยะยาว โดยยกตัวอย่างของ Quantum และ Waymo ว่าเป็นสิ่งที่กูเกิลลงทุนมานานกว่า 15 ปี ตอนนี้เพิ่งเริ่มผลิดอกออกผล

Some of these are long-term bets, and it takes time to play out. Quantum, to me, looks like where AI was in the 2010s. Few people know about it, but you’re working on it methodically. It’s the same. Waymo, we’ve been in the journey for over 15 years now, and it’s an exciting moment, so it’s probably a combination of all of that.

เขายังพูดถึง “breakthrough” ว่าเป็นสิ่งที่ยากกว่าการแก้ปัญหาปกติมาก เขาบอกว่าในวงการคอมพิวเตอร์ เราสามารถโยนพลังประมวลผลให้ปัญหาบางอย่าง เพื่อเกิดความคืบหน้าได้ในช่วงแรกๆ แต่ถ้าต้องการ breakthrough นั้นเราต้องทำสิ่งที่มากกว่าแค่ scaling

I think in this field you can throw compute at it and make that initial progress. But then, it’s not just a question of scaling alone, it’s achieving breakthroughs. So getting our models to work with up to 2 million tokens as input length, that’s long context. That’s an example of a breakthrough. And with Gemini 2.0, we have a multimodal live API, so now it does native image and audio output. You can stream inputs into the model, get output — those are all breakthroughs. As we go to this next level, you need more insightful breakthroughs.

วิธีการพูดของ Pichai ยังน่าสนใจ เขาพูดถึง Pareto Principle ว่าปัญหา 20% สุดท้ายนั้นต้องใช้พลัง 80% ของทั้งหมด แต่กรณีของ AI ที่กูเกิลทำอยู่นั้นยิ่งไปกว่านั้น เพราะมันคือปัญหา 10% สุดท้ายต้องใช้พลังถึง 90%

The saying goes, ‘the final 20% takes 80% of the effort.’ In this case, the last 10% may take 90% of the effort.

ตรงนี้ Sundar อาจไม่ได้ขยายความต่อ แต่ก็น่าจะเดากันได้ว่ากูเกิลน่าจะพร้อมกว่าใครในการมีพลัง 90% ที่ว่านั้น