• <bdo id="3u99n"><optgroup id="3u99n"><thead id="3u99n"></thead></optgroup></bdo>
      <track id="3u99n"></track>

      <bdo id="3u99n"></bdo>
      1. <tbody id="3u99n"><div id="3u99n"></div></tbody>
        <track id="3u99n"><span id="3u99n"><td id="3u99n"></td></span></track>
        <track id="3u99n"></track>
            <tbody id="3u99n"><span id="3u99n"></span></tbody>
          1. <bdo id="3u99n"><dfn id="3u99n"><dd id="3u99n"></dd></dfn></bdo>

            Please select a language for a better experience

            English
            OK

            谷歌DeepMind被曝抄襲開源成果,論文還中了頂流會議

            2024-07-15 20:12:04來源:星空體育官網官方

              大模型圈再曝抄襲大瓜,谷歌這回,被曝“被告”還是抄襲成果001大名鼎鼎的谷歌DeepMind。

              “原告”直接怒噴:他們就是開源把我們的技術報告洗了一遍!

              具體是這么個事兒:

              谷歌DeepMind一篇中了頂流新生代會議CoLM2024的論文被掛了,瓜主直指其抄襲了一年前就掛在arXiv上的論文一項研究。開源的還中會議那種。

              兩篇論文探討的頂流都是一種規范模型文本生成結構的方法。

              抓馬的谷歌是,谷歌DeepMind這篇論文中確實明晃晃寫著引用了“原告”的被曝論文。

              然鵝,抄襲成果即便是開源標明了引用,“原告”的論文兩位論文作者Brandon T. Willard(布蘭登)和R´emi Louf(雷米)還是堅稱谷歌抄襲,并認為:

              谷歌對兩者差異性的還中會議001表述“簡直荒謬”。

              而不少網友看過論文后也緩緩打出一個問號:CoLM是頂流怎么審的稿?

              唯一區別是換了概念?

              趕緊瞅一眼論文對比……

              兩篇論文的比較

              先淺看一眼兩篇論文的摘要對比。

              谷歌DeepMind的谷歌論文說的是,tokenization給約束語言模型輸出帶來了麻煩,他們引入自動機理論來解決這些問題,核心是避免在每個解碼步驟遍歷所有邏輯值(logits)。

              該方法只需要訪問每個token的解碼邏輯值,計算與語言模型的大小無關,高效且易用于幾乎所有語言模型架構。

              而“原告”的說法大致是:

              提出了一個高效框架,通過在語言模型的詞匯表上構建索引,來大幅提升約束文本生成的效率。簡單來說,就是通過索引避免對全部邏輯值的遍歷。

              同樣“不依賴于具體模型”。

              方向上確實大差不差,我們還是接著來看看更多詳細內容。

              我們用谷歌Gemini1.5Pro分別總結了兩篇論文的主要內容,并接著讓Gemini來比較兩者的異同。

              對于“被告”谷歌這篇論文,Gemini總結其方法是將detokenization重新定義為有限狀態轉換器(FST)操作。

              將此FST與表示目標形式語言的自動機組合,這種自動機可以用正則表達式或語法來表示。

              通過以上結合,生成一個基于token的自動機,用于在解碼過程中約束語言模型,確保其輸出的文本符合預設的形式語言規范。

              此外,谷歌論文中還進行了一系列正則表達式擴展,這些擴展通過使用特別命名的捕獲組來編寫,顯著提升了系統處理文本時的效率和表達能力。

              而對于“原告”論文,Gemini總結其方法的核心是將文本生成問題重新定義為有限狀態機(FSM)之間的轉換。

              “原告”的具體方法是:

              利用正則表達式或上下文無關文法構建FSM,并將其用于指導文本生成過程。

              通過構建詞匯表索引,高效地確定每個步驟中的有效詞,避免遍歷整個詞匯表。

              Gemini列出了兩篇論文的共同點。

              至于兩者的區別,有點像前頭那位網友說的,簡單總結就是:谷歌將詞匯表定義為了一個FST。

              前面也說到了,谷歌在“Related work”中將原告論文列為“最相關”的一項工作:

              最相關的研究是Outlines(Willard&Louf,2023),該研究同樣采用有限狀態自動機(FSA)和下推自動機(PDA)作為約束手段——我們的方法是在2023年初獨立開發的。

              谷歌認為兩者的差異在于,Outlines的方法基于一種特制的“索引”操作,需要手動擴展到新的應用場景。相比之下,谷歌使用自動機理論徹底重新定義了整個過程,使得應用FSA和泛化到PDA變得更加容易。

              另一個區別是,谷歌定義了擴展以支持通配符匹配,并提高了可用性。

              谷歌緊接著在介紹下面的兩項相關工作中,也都提到了Outlines。

              一項是Yin等人(2024年)通過增加“壓縮”文本段到預填充的功能,擴展了Outlines。

              另一項是Ugare等人(2024年)近期提出的一個系統,名為SynCode。它也利用FSA,但采用LALR和LR解析器而非PDA處理語法。

              與Outlines類似,該方法依賴于定制算法。

              但吃瓜群眾們顯然不是很買賬:

              CoLM的評審們應該注意。我不認為這看上去是各自獨立的“同期工作”。

              網友:這事兒不罕見…

              這件事一發酵,不少網友都怒了,抄襲可恥,更何況“科技巨頭剽竊小團隊的工作成果不是第一次了”。

              順便一提,布蘭登和雷米發布原告論文的時候都在給Normal Computing遠程工作,這家AI Infra公司成立于2022年。

              哦對了,Normal Computing的創始團隊有一部分就來自Google Brain……

              另外,布蘭登和雷米現在合伙出來創業了,新公司名叫.txt,官網信息顯示,其目標是提供快速可靠的信息提取模型。并且官網掛出的GitHub主頁,就是Outlines倉庫。

              說回到網友這邊,更讓大家伙兒生氣的是,“這種情況已經變得普遍”。

              一位來自荷蘭代爾夫特理工大學的博士后分享了自己的遭遇:

              去年10月我們完成了一項工作,最近有篇已被接收的論文采用了相同的思路和概念,但甚至沒有引用我們的論文。

              還有一位美國東北大學的老哥更慘,這種情況他遭遇過兩次,下手的還都是同一個組。并且對面那位第一作者還給他的GitHub加過星標……

              不過,也有網友表達了不同的意見:

              如果說發個博客文章或未經評估的預印本論文就算占坑了,那人人都會占坑,不是嗎?

              對此,雷米怒懟:

              好家伙,發布預印本論文并開源代碼 = 占坑;

              寫篇數學論文,甚至不需要任何偽代碼 = 好工作???

              布蘭登老哥也表示yue了:

              開源代碼并撰寫相關論文是“占坑”,復制別人的工作卻說“我更早有了這個想法”且投稿了會議反而不是啦?真惡心。

              瓜就先吃到這里,對此你有什么想法?不妨在評論區繼續討論~


            一级线看片免费人成视频|国产国产人免费人成免费视频麻豆|国产成人无码免费视频在线观看

          2. <bdo id="3u99n"><optgroup id="3u99n"><thead id="3u99n"></thead></optgroup></bdo>
              <track id="3u99n"></track>

              <bdo id="3u99n"></bdo>
              1. <tbody id="3u99n"><div id="3u99n"></div></tbody>
                <track id="3u99n"><span id="3u99n"><td id="3u99n"></td></span></track>
                <track id="3u99n"></track>
                    <tbody id="3u99n"><span id="3u99n"></span></tbody>
                  1. <bdo id="3u99n"><dfn id="3u99n"><dd id="3u99n"></dd></dfn></bdo>