作為谷歌 AI 帝國的重要部分，谷歌大腦團(tuán)隊一直致力于通過研究和系統(tǒng)工程來推動人工智能領(lǐng)域的發(fā)展。去年他們分享了 2016 年的工作總結(jié)。在接下來的一年中，他們在制造智能機器的*研究中不斷取得進(jìn)步，并與來自 Google 和 Alphabet 的其他團(tuán)隊合作，利用研究成果來為人類造福。

　　近日，該團(tuán)隊按照慣例，發(fā)表了 2017 年的年度總結(jié)。這份總結(jié)由谷歌研究員 Jeff Dean 代表整個團(tuán)隊執(zhí)筆?？偨Y(jié)分為上下兩篇。在上篇中主要介紹了 2017 年團(tuán)隊的基礎(chǔ)研究工作，開源一些軟件和數(shù)據(jù)集以及用于機器學(xué)習(xí)的硬件更新。下篇將介紹團(tuán)隊在特定領(lǐng)域的研究，比如醫(yī)療，機器人，和一些基礎(chǔ)科學(xué)。以及更多的關(guān)于團(tuán)隊富有的創(chuàng)造力，公平和包容性的工作，和跟多關(guān)于團(tuán)隊自身的內(nèi)容。

　　核心研究

　　谷歌大腦團(tuán)隊的關(guān)注的重點是那些可以在機器學(xué)習(xí)領(lǐng)域提高理解力和解決新問題的能力的研究。以下是一些研究主題。

　　1. 自動化機器學(xué)習(xí)

　　如我們所知，機器學(xué)習(xí)的算法是由機器學(xué)習(xí)專家精細(xì)設(shè)計的，但是需要解決的新問題層出不窮。自動化機器學(xué)習(xí)的目標(biāo)就是讓計算機自動去解決新的機器學(xué)習(xí)問題，而不需要人類機器學(xué)習(xí)專家在每個新問題上進(jìn)行干預(yù)。如果我們希望得到真正的智能系統(tǒng)，這就是必須的基本能力。

　　谷歌大腦團(tuán)隊設(shè)計出使用強化學(xué)習(xí)和演化算法的新的神經(jīng)網(wǎng)絡(luò)設(shè)計方法。這項工作已經(jīng)被擴(kuò)展到的 ImageNet 分類和檢測，并展示了如何自動學(xué)習(xí)新的優(yōu)化算法和有效的激活函數(shù)。團(tuán)隊積極與谷歌的 Cloud AI 團(tuán)隊合作，讓谷歌用戶可以享受這項成果，同時將這項研究在多個方向上推進(jìn)。

　　2. 語音理解與生成

　　團(tuán)隊發(fā)展新的技術(shù)來改善計算機理解和生成人類語音的能力，并與谷歌的語音團(tuán)隊合作為一個多端到端的語音識別系統(tǒng)研究出多種優(yōu)化方法。這使得 Google 的產(chǎn)品——語音識別系統(tǒng)的相對單詞錯誤率降低了 16%。這項工作將許多獨立的研究線索匯集到一起。

　　團(tuán)隊還與 Google 的 Machine Perception 團(tuán)隊合作開發(fā)了一種新的文本到語音生成方法，Tacotron 2。它*地提高了生成的語音的質(zhì)量。這個模型達(dá)到了 4.53 的平均意見得分(MOS)，相比之下，有聲讀物中的專業(yè)記錄語音的 MOS 為 4.58，之前的計算機語音生成系統(tǒng)成績也僅僅為 4.34。

　　3. 新的機器學(xué)習(xí)算法和途徑

　　團(tuán)隊一直致力于開發(fā)新奇的機器學(xué)習(xí)算法和方法，包括在 capsules 上的研究(明確地尋找激活特征協(xié)議，作為在執(zhí)行視覺任務(wù)時評估多種不同噪音假設(shè)的方式)，sparsely-gated mixtures of experts(使非常大的模型仍能有很高的計算效率)，超網(wǎng)絡(luò)(使用一個模型的權(quán)重為另一個模型生成權(quán)重)，新型多模式模型(在同一模型中跨音頻，視覺和文本輸入執(zhí)行多任務(wù)學(xué)習(xí))，基于注意的機制(替代卷積和循環(huán)模型)，符號和非符號化的學(xué)習(xí)優(yōu)化方法，一種通過離散變量的反向傳播技術(shù)，以及一些對強化學(xué)習(xí)算法改進(jìn)。

　　4. 計算機系統(tǒng)領(lǐng)域的機器學(xué)習(xí)

　　谷歌大腦團(tuán)隊對于用機器學(xué)習(xí)的方法在計算機系統(tǒng)中取代傳統(tǒng)的啟發(fā)式應(yīng)用非常感興趣。他們已經(jīng)展示了如何使用強化學(xué)習(xí)來進(jìn)行放置決策，將計算圖映射到一組計算設(shè)備上，而且比人類專家做的更好。團(tuán)隊還與 Google Research 合作，展示了神經(jīng)網(wǎng)絡(luò)建立的索引比傳統(tǒng)數(shù)據(jù)結(jié)構(gòu)(如 B 樹，散列表和布隆過濾器)更快，更小。如 NIPS 關(guān)于機器學(xué)習(xí)系統(tǒng)和系統(tǒng)的機器學(xué)習(xí)討論會上所說的，谷歌大腦團(tuán)隊相信，他們正在觸及在核心計算機系統(tǒng)中使用機器學(xué)習(xí)這一領(lǐng)域。

　　5. 隱私與安全

　　機器學(xué)習(xí)及其與安全和隱私的交互一直是團(tuán)隊關(guān)注的焦點。在一篇獲得 ICLR 2017“論文獎”的的論文中，團(tuán)隊展示了機器學(xué)習(xí)技術(shù)可以提供不同方式的隱私保證。團(tuán)隊還繼續(xù)調(diào)查了抗性樣例的性質(zhì)，包括在現(xiàn)實世界中展現(xiàn)的對抗性樣例，以及在訓(xùn)練過程中如何充分利用他們來使模型更適應(yīng)這些對抗性樣例。

　　6. 理解機器學(xué)習(xí)系統(tǒng)

　　雖然人們已經(jīng)見識到了深度學(xué)習(xí)的強大能力，但更重要的是理解它為什么起作用，什么時候不起作用。在另一篇獲得 ICLR 2017“論文獎”的論文中，團(tuán)隊向大家闡明，目前的機器學(xué)習(xí)理論框架無法解釋深度學(xué)習(xí)方法的一些杰出的結(jié)果。團(tuán)隊展示了，通過優(yōu)化方法找到的小值的“平坦度”，并不像初想象的那樣與良好的泛化緊密相關(guān)。為了更好地理解深層架構(gòu)下的訓(xùn)練過程是如何進(jìn)行的，谷歌大腦團(tuán)隊發(fā)表了一系列分析隨機矩陣的論文，因為它們是大多數(shù)訓(xùn)練方法的出發(fā)點。

　　了解深度學(xué)習(xí)的另一個重要途徑就是更好地衡量他們的效果。在近的一項對眾多生成對抗網(wǎng)絡(luò)的比較的研究中，團(tuán)隊展示了良好的實驗設(shè)計和統(tǒng)計嚴(yán)謹(jǐn)性的重要性，他們發(fā)現(xiàn)許多流行的對生成模型的增強方法實際上并沒有提高它的性能。我們希望這項研究能夠為其他研究人員提供一個可靠的實驗研究的范例。

　　團(tuán)隊正在開發(fā)能夠更好地解釋機器學(xué)習(xí)系統(tǒng)的方法。在三月份，團(tuán)隊與 OpenAI，DeepMind，YC Research 等合作，宣布推出 Distill，這是一本致力于支持人類對機器學(xué)習(xí)的進(jìn)行理解的在線開放式科學(xué)雜志。它因?qū)C器學(xué)習(xí)概念的清晰闡釋和在出色的交互式可視化工具而廣受贊譽。在*年，Distill 上就發(fā)表了許多啟發(fā)性的文章，旨在了解各種機器學(xué)習(xí)技術(shù)的內(nèi)部工作機理，我們期待 2018 年迎來更多可能。

　　7. 機器學(xué)習(xí)研究的開源數(shù)據(jù)集

　　數(shù)據(jù)集對于機器學(xué)習(xí)研究的重要性不言而喻。像 MNIST, CIFAR-10, ImageNet, SVHN, and WMT 這樣的開源數(shù)據(jù)集一直推動著機器學(xué)習(xí)飛速發(fā)展。谷歌大腦團(tuán)隊和 Google Research 在過去一年一直積極地為開放式機器學(xué)習(xí)研究公開有趣的新數(shù)據(jù)集，提供更多的大型標(biāo)記數(shù)據(jù)集，包括：

　　YouTube-8M: >用 4716 個不同類別標(biāo)注的 7 百萬 YouTube 視頻YouTube-Bounding Boxes: 來自 21 萬 Youtube 視頻的五百萬個邊際框標(biāo)注Speech Commands Dataset: 成千上萬人所說的簡短的命令字AudioSet: 用 527 個聲音事件標(biāo)注的 2 百萬個 10 秒的 YouTube 剪輯Atomic Visual Actions (AVA): 57000 個視頻剪輯片段中 21 萬個動作標(biāo)注Open Images: 9M 的通過 6000 個類別對創(chuàng)意共享許可圖像進(jìn)行標(biāo)注Open Images with Bounding Boxes: 1.2M 的共計 600 個分類的邊界框標(biāo)注

　　8.TensorFlow 和開源軟件

　　縱觀團(tuán)隊的歷史，許多構(gòu)建的工具已經(jīng)在 Google 的許多產(chǎn)品應(yīng)用，進(jìn)行機器學(xué)習(xí)研究并部署機器學(xué)習(xí)系統(tǒng)。2015 年 11 月，第二代機器學(xué)習(xí)框架 TensorFlow 開源，團(tuán)隊希望整個機器學(xué)習(xí)社區(qū)能夠從中受益。在 2017 年 2 月，TensorFlow 1.0 發(fā)布。在 11 月，1.4 版本發(fā)布，這其中包括重要的添加內(nèi)容：用于交互式命令式編程的 Eager execution，TensorFlow 程序的優(yōu)化編譯器 XLA，以及適用于移動設(shè)備和嵌入式設(shè)備的輕量級解決方案 TensorFlow Lite?，F(xiàn)在，預(yù)編譯的 TensorFlow 二進(jìn)制文件現(xiàn)在已經(jīng)在 180 多個國家被下載了超過一千萬次，GitHub 上的源代碼現(xiàn)在已經(jīng)有超過 1200 個貢獻(xiàn)者。

　　今年 2 月，首屆 TensorFlow成功舉辦，吸引了 450 多人親臨現(xiàn)場參加活動，6500 人觀看直播，在 35 多個國家和地區(qū)舉辦了超過 85 場的本地觀看活動。所有會談都被記錄下來，主題包括新特性，使用 TensorFlow 的技巧，或者對低層次 TensorFlow 抽象的探討。團(tuán)隊預(yù)計于 2018 年 3 月 30 日在灣區(qū)舉辦另一個 TensorFlow。

　　在十一月，TensorFlow 慶祝其開放源代碼項目兩周年。TensorFlow 是 GitHub 上排名*的機器學(xué)習(xí)平臺，也是 GitHub 上的五大軟件庫之一，已經(jīng)被許多大大小小的公司和機構(gòu)所使用，包括 GitHub 上超過 24,500 個與 TensorFlow 相關(guān)的倉庫?，F(xiàn)在，許多研究論文都與開放源碼的 TensorFlow 實現(xiàn)和研究結(jié)果一起出版，使社區(qū)能夠更容易地理解所使用的確切方法，并重現(xiàn)或擴(kuò)展工作。

　　除了 TensorFlow 之外，團(tuán)隊還在瀏覽器中發(fā)布了 deeplearn.js，一個開源的硬件加速深度學(xué)習(xí)的 API 實現(xiàn)(無需下載或安裝任何東西)。deeplearn.js 主頁有許多很好的例子，其中包括 Teachable Machine, 可以使用網(wǎng)絡(luò)攝像頭訓(xùn)練的計算機視覺模型，以及 Performance RNN，一個基于實時神經(jīng)網(wǎng)絡(luò)的鋼琴作曲和演奏效果的演示。團(tuán)隊將在 2018 年繼續(xù)開展工作，以便將 TensorFlow 模型直接部署到 deeplearn.js 環(huán)境中。