張岳教授:語言模型推理與泛化研究 | ICLR 2025 特邀報告與團隊專場

點擊藍字

b0b87b54cda1c085497c1740cfde87ca.jpeg

關注我們

AI TIME歡迎每一位AI愛好者的加入!

AITIME

01

ICLR 2025預講會特邀報告

cb1c34310eabadc24aef7b483bc9c767.jpeg

AITIME

02

ICLR 2025預講會西湖大學張岳老師實驗室專場

01

AI生成文本的自動化檢測

Glimpse: Enabling White-Box Methods to Use Proprietary Models for Zero-Shot LLM-Generated Text Detection

鮑光勝,張岳實驗室博士生(2022級)

時間:3月4日10:00-10:15

簡介:

先進的大型語言模型能夠生成幾乎與人類撰寫的文本無法區分的內容,這使得自動、準確地檢測AI生成文本變得非常重要。然而,目前的檢測技術面臨一個很大的挑戰:白盒檢測方法檢測能力很強,但由于方法需要使用模型的預測分布,只能使用能力相對較弱的開源模型;而黑盒檢測方法雖然能使用能力較強的私有模型(如gpt-4),但因為這類方法本身的缺陷,其檢測能力并不強。由于私有模型只能通過API訪問,無法提供完整的預測分布或內部嵌入,使得讓白盒方法使用私有模型實現強強聯手看起來似乎不可能。為解決這一難題,我們提出了Glimpse,一種概率分布估計方法,從API返回的部分觀察中,預測恢復完整分布,從而成功地將多種白盒方法擴展到最新的私有模型上。實驗表明,Glimpse結合Fast-DetectGPT方法和GPT-3.5模型,在五個最新大模型生成的語料上,實現了約95%的檢測準確率,相較于開源模型基線將檢測準確率相對提高了51%。我們的研究表明最新的大模型可以有效檢測自己的輸出,展示先進的大模型本身就是抵御它們自身風險的最佳護盾。

論文地址:

https://arxiv.org/pdf/2412.11506

代碼地址:

https://github.com/baoguangsheng/glimpse

圖片

02

CycleResearcher: 通過自動化審稿提升自動化研究

CycleResearcher: Improving Automated Research via Automated Review

翁詣軒,張岳實驗室訪問學生

時間:3月4日10:15-10:30

簡介:

本文探討了利用開源大語言模型(LLMs)實現科研全流程自動化的可行性,提出了一種結合研究生成與自動化評審的迭代強化學習框架。該框架包含兩個核心組件:CycleResearcher作為策略模型,負責文獻綜述、實驗設計及論文撰寫;CycleReviewer作為獎勵模型,模擬同行評審過程,通過強化學習提供反饋以優化研究輸出。研究構建了Review-5k(包含論文評審數據)和Research-14k(涵蓋機器學習領域論文全文及大綱)兩個新數據集,支持模型訓練與評估。實驗結果表明,CycleReviewer在預測論文得分上較個體人類評審者平均絕對誤差(MAE)降低26.89%,顯示出其在評審支持中的潛力;CycleResearcher生成的論文在模擬評審中得分為5.36,較會議錄用論文(5.69)仍有改進空間。研究還設計了AI生成內容檢測工具(準確率超95%),并強調倫理規范,倡導透明披露AI參與以維護學術誠信。該工作為AI驅動的自動化科研提供了新思路,同時兼顧了技術創新與學術責任。?

03

大語言模型的個性化對齊

Personality Alignment of Large Language Models?

朱敏郡,張岳實驗室博士生(2023級)

時間:3月4日10:30-10:45

簡介:

本文提出了一種名為“人格對齊”的創新方法,旨在解決大型語言模型(LLMs)在個性化交互中的局限性。傳統模型通常基于普世人類價值觀對齊,而本研究強調從個體差異出發,通過心理學測評工具量化用戶特性。研究者構建了涵蓋32萬真實用戶的PAPI數據集,包含正面的“大五人格”(開放性、盡責性、外向性、宜人性、神經質)和負面的“黑暗三聯征”(馬基雅維利主義、自戀、心理變態)雙重評估體系,首次實現了語言模型在健康與病態人格維度的全面校準。針對個性化數據稀缺和計算效率挑戰,團隊開發了無需訓練的“人格激活搜索”(PAS)方法。該方法通過識別關鍵注意力頭并定向調整激活向量,在保持模型參數不變的前提下,僅需傳統方法1/6的優化時間即可實現精準對齊。實驗表明,PAS在Llama-3等模型上的對齊效果顯著優于DPO、PPO等主流方法,甚至在部分指標上超越GPT-4。研究還揭示了人格對齊對復雜推理能力的正向影響,如提升盡責性可使模型數學解題準確率提高0.68個百分點。這項工作為構建真正個性化的AI系統提供了新范式。

論文地址:

https://openreview.net/pdf?id=0DZEs8NpUH

代碼地址:

https://github.com/zhu-minjun/PAlign

圖片

04

NovelQA:對超過20萬個tokens的文檔進行基準問答

NovelQA: Benchmarking Question Answering on Documents Exceeding 200K Tokens

王存翔,張岳實驗室2019級博士生

時間:3月4日10:45-11:00

簡介:

為了引導和評測大模型的這種能力,我們基于幾十本長篇英文小說,標注了幾千條需要大模型從小說各個角落獲取信息并進行復雜推理的問答題,比如“主教請JearValiean吃飯的時候桌上點了幾根蠟燭”這種給別人轉述故事的時候人家追問100次你都不會講到的細節,還有比如“馬德蘭市長在小說開頭馬車下救的人在書中間跟Jean Valiean的名字有什么關系”這種轉了很多章節和人物關系的問題。并且為了防止數據的泄漏,我們只在網上開源題目,而不開源答案,而讓參與者通過CodaBench提交他們的回答并且算分。

論文地址:

https://openreview.net/forum?id=uMEsKEiB7J

圖片

AITIME

03

觀看地址

70ae462b78c470a91acc9a631c460d2c.jpeg

進入Bilibili直播間觀看,

提問有可能會被選中由講者回答!

歡迎關注AITIME論道 Bilibili 觀看更多講者回放!

AITIME

04

加入群聊

f42bfc1e265cebe5af280fbb6afa647a.png

添加"AI TIME小助手",發送“ICLR”,

將拉您進“AI TIME 交流群”!

往期精彩活動推薦

6241d9d879219386db6358c7549a7278.jpeg

CVPR 2025結果出爐|一作講者已開啟招募,歡迎新老朋友來預講會相聚!

?關于AI TIME?

AI TIME源起于2019年,旨在發揚科學思辨精神,邀請各界人士對人工智能理論、算法和場景應用的本質問題進行探索,加強思想碰撞,鏈接全球AI學者、行業專家和愛好者,希望以辯論的形式,探討人工智能和人類未來之間的矛盾,探索人工智能領域的未來。

迄今為止,AI TIME已經邀請了2000多位海內外講者,舉辦了逾700場活動,超800萬人次觀看。

2f6892ffa9f5e58cd998627480173000.png

我知道你?

在看

提出觀點,表達想法,歡迎?

留言

96cf9d0cb14ab06e51c15ffad2903d16.gif

點擊?閱讀原文?進入直播間!

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/bicheng/72449.shtml
繁體地址,請注明出處:http://hk.pswp.cn/bicheng/72449.shtml
英文地址,請注明出處:http://en.pswp.cn/bicheng/72449.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

MySQL SQL 優化專題

MySQL SQL 優化專題 1. 插入數據優化 -- 普通插入(不推薦) INSERT INTO tb_user VALUES(1,tom); INSERT INTO tb_user VALUES(2,cat); INSERT INTO tb_user VALUES(3,jerry);-- 優化方案1:批量插入(推薦,不建議超過1…

【AI深度學習基礎】NumPy完全指南進階篇:核心功能與工程實踐(含完整代碼)

NumPy系列文章 入門篇進階篇終極篇 一、引言 在掌握NumPy基礎操作后,開發者常面臨真實工程場景中的三大挑戰:如何優雅地處理高維數據交互?如何在大規模計算中實現內存與性能的平衡?怎樣與深度學習框架實現高效協同?…

Python學習第十八天之深度學習之Tensorboard

Tensorboard 1.TensorBoard詳解2.安裝3.使用4.圖像數據格式的一些理解 后續會陸續在詞博客上更新Tensorboard相關知識 1.TensorBoard詳解 TensorBoard是一個可視化的模塊,該模塊功能強大,可用于深度學習網絡模型訓練查看模型結構和訓練效果(…

【GraphQL API 漏洞簡介】

GraphQL API 漏洞簡介 一、漏洞原理與分類二、漏洞檢測方法三、典型利用方式四、工具推薦防御建議 GraphQL API 因其靈活性和高效性被廣泛應用,但也因設計和實現缺陷存在多種安全風險。以下從漏洞原理、檢測方法及利用方式三個維度進行詳細分析: 一、漏洞…

Windows逆向工程入門之MASM數據結構使用

公開視頻 -> 鏈接點擊跳轉公開課程博客首頁 -> ???鏈接點擊跳轉博客主頁 目錄 第一章:MASM數據定義體系精要 1.1 基礎數據類型全景 1.1.1 整型數據規范 1.1.2 浮點數據編碼 1.2 復合數據結構 1.2.1 多維數組定義 1.2.2 復雜結構體 第二章&#xf…

筑牢安全防線:工商業場所燃氣泄漏防護新方案

燃氣安全是企業經營不可逾越的生命線。在餐飲后廚、化工車間、酒店鍋爐房等場所,可燃氣體一旦泄漏,極易引發嚴重事故。如何實現精準監測、快速響應,成為工業及商業領域安全管理的核心訴求。旭華智能深耕安全監測領域,推出的工業及…

本地部署大數據集群前置準備

1. 設置VMware網段 虛擬網絡編輯器——更改設置——選擇VMnet8——子網改成192.168.88.0——NAT設置——網關設置為192.168.88.2 2. 下載CentOS操作系統 下載CentOS 7.6(1810)版本 3. 在VMware中安裝CentOS操作系統 創建新的虛擬機——典型——安裝光盤映像文件——輸入賬…

【藍橋杯單片機】第十二屆省賽

一、真題 二、模塊構建 1.編寫初始化函數(init.c) void Cls_Peripheral(void); 關閉led led對應的鎖存器由Y4C控制關閉蜂鳴器和繼電器 由Y5C控制 2.編寫LED函數(led.c) void Led_Disp(unsigned char ucLed); 將ucLed取反的值賦給P0 開啟鎖存器…

PyCharm接入本地部署DeepSeek 實現AI編程!【支持windows與linux】

今天嘗試在pycharm上接入了本地部署的deepseek,實現了AI編程,體驗還是很棒的。下面詳細敘述整個安裝過程。 本次搭建的框架組合是 DeepSeek-r1:1.5b/7b Pycharm專業版或者社區版 Proxy AI(CodeGPT) 首先了解不同版本的deepsee…

CSS 系列之:grid 布局

基本概念 <template><div class"parent"><div class"box">p1-1</div><div class"box">p1-2</div><div class"box">p1-3</div></div><div class"parent"><…

數學軟件Matlab下載|支持Win+Mac網盤資源分享

如大家所了解的&#xff0c;Matlab與Maple、Mathematica并稱為三大數學軟件。Matlab應用廣泛&#xff0c;常被用于數據分析、無線通信、深度學習、圖像處理與計算機視覺、信號處理、量化金融與風險管理、機器人&#xff0c;控制系統等領域。 Matlab將數值分析、矩陣計算、科學…

水仙花數(華為OD)

題目描述 所謂水仙花數&#xff0c;是指一個n位的正整數&#xff0c;其各位數字的n次方和等于該數本身。 例如153是水仙花數&#xff0c;153是一個3位數&#xff0c;并且153 13 53 33。 輸入描述 第一行輸入一個整數n&#xff0c;表示一個n位的正整數。n在3到7之間&#x…

物聯網同RFID功能形態 使用場景的替代品

在物聯網&#xff08;IoT&#xff09;和自動識別技術領域&#xff0c;除了RFID標簽外&#xff0c;還有一些其他技術產品可以在形態和大小上與RFID標簽相似&#xff0c;同時提供類似或更強大的功能。以下是幾種能夠替代RFID標簽的產品&#xff1a; 一、NFC標簽 NFC&#xff08;…

03.03 QT

1.在注冊登錄的練習里面&#xff0c;追加一個QListwidget 項目列表 要求:點擊注冊之后&#xff0c;將賬號顯示到 1istwidget上面去 以及&#xff0c;在listwidget中雙擊某個賬號的時候&#xff0c;將該賬號刪除 Widget.h: #ifndef WIDGET_H #define WIDGET_H#include <QWi…

c++ cout詳解

在 C++ 中,cout 是標準輸出流對象,用于向控制臺(或標準輸出設備)輸出數據。它是 iostream 庫的核心組件之一,與 << 流插入運算符配合使用。 一、基本用法 1. 頭文件和命名空間 #include <iostream> // 必須包含的頭文件 using namespace std; // 命名空間(…

深入解析 .NET Core 的應用啟動流程

隨著 .NET Core 的發展&#xff0c;它逐漸成為構建跨平臺、高性能 Web 應用的首選框架。了解 .NET Core 的應用啟動流程是開發者成功使用該框架的關鍵&#xff0c;尤其是在調試、優化和部署時。本文將深入探討 .NET Core 的應用啟動過程&#xff0c;從創建 Web 主機、配置服務、…

(十二)基于 Vue 3 和 Mapbox GL 實現的坐標拾取器組件示例

下面是一個基于 Vue 3 和 Mapbox GL 實現的坐標拾取器組件示例: <template><div class="map-container"><div ref="mapContainer" class="map"></div><div class="coordinates-box"><div v-if=&qu…

LINUX網絡基礎 - 網絡編程套接字,UDP與TCP

目錄 前言 一. 端口號的認識 1.1 端口號的作用 二. 初識TCP協議和UDP協議 2.1 TCP協議 TCP的特點 使用場景 2.2 UDP協議 UDP的特點 使用場景 2.3 TCP與UDP的對比 2.4 思考 2.5 總結 三. 網絡字節序 3.1 網絡字節序的介紹 3.2 網絡字節序思考 四. socket接口 …

歌曲分類和流行度預測

1. 項目介紹 本項目從kaggle平臺上下載了數據集&#xff0c;該數據集包含了3萬多首來自Spotify API 的歌曲&#xff0c;共有23個特征。首先對數據集進行預處理&#xff0c;如重復行、缺失值、標準化處理等。再對預處理后的數據進行探索性分析&#xff0c;觀察各變量的分布情況&…

Trae:國內首款AI原生IDE,編程效率大提升

今年一月&#xff0c;在新聞上看到字節跳動面向海外市場推出了一款名為Trae的AI集成開發環境&#xff08;IDE&#xff09;。起初&#xff0c;我并未給予過多關注&#xff0c;因為市面上已有不少IDE集成了AI插件&#xff0c;功能也非常全面&#xff0c;而字節跳動自家的MarsCode…