2024世界人工智能大會(huì)暨人工智能全球治理高級(jí)別會(huì)議7月4日-6日在上海舉行。

7月5日下午，由中國(guó)信息通信研究院承辦的WAIC 2024 “邁向AGI：大模型煥新與產(chǎn)業(yè)賦能”論壇在上海徐匯西岸拉開(kāi)帷幕。小紅書技術(shù)副總裁王曉博在論壇上發(fā)表主題演講，分享了小紅書在大模型領(lǐng)域的最新布局與探索。

目前小紅書社區(qū)擁有超過(guò)三億的月活用戶，越來(lái)越多新一代年輕人因?yàn)楣餐呐d趣愛(ài)好在這里相聚，小紅書上海量的UGC構(gòu)成了一部豐富的生活指南。

在演講中，王曉博從“搜”、“推”、“創(chuàng)”、“美”、“伴”等多個(gè)技術(shù)應(yīng)用場(chǎng)景闡述了大模型將如何助力小紅書這本“生活指南”更便捷、更鮮活、更美好。

王曉博指出：”我們希望通過(guò)多模大模型的能力增強(qiáng)，讓AI能夠越來(lái)越像人一樣，能夠理解小紅書的內(nèi)容，不僅僅可以看懂筆記，看懂圖片和文字，能夠進(jìn)行內(nèi)容的整理和問(wèn)答，也能夠輔助用戶進(jìn)行更便捷的內(nèi)容創(chuàng)作，同時(shí)通過(guò)對(duì)內(nèi)容和用戶的深度理解，更好地建立內(nèi)容和用戶之間的關(guān)聯(lián)和匹配效率。“

搜索一直是用戶在小紅書上高頻使用的功能，70%的小紅書活躍用戶有主動(dòng)搜索行為。小紅書目前正在探索將大模型引入搜索的技術(shù)鏈路，未來(lái)能夠給用戶帶來(lái)更便捷的搜索體驗(yàn)。

據(jù)王曉博介紹，在日常使用中，用戶查詢一些復(fù)雜問(wèn)題時(shí)，往往需要多步搜索才能獲得想要的答案。而有了大模型的加持之后，小紅書將使用Search Agent來(lái)模擬用戶的多次搜索過(guò)程，通過(guò)大模型代理用戶的查詢過(guò)程，直接交付答案給用戶，大大提升了搜索效率。

在推薦上，大模型則可以幫助小紅書更好地理解內(nèi)容和用戶興趣。王曉博表示，傳統(tǒng)推薦系統(tǒng)依賴行為數(shù)據(jù)對(duì)用戶和內(nèi)容進(jìn)行建模，會(huì)導(dǎo)致新筆記分發(fā)難，缺乏推理能力導(dǎo)致信息繭房等問(wèn)題。

在小紅書的推薦系統(tǒng)中，率先將大模型作為筆記的語(yǔ)義編碼器來(lái)使用，通過(guò)語(yǔ)義壓縮提示詞（prompt）結(jié)合對(duì)比學(xué)習(xí)技術(shù)，讓大模型能夠把筆記轉(zhuǎn)化為推薦系統(tǒng)可理解的向量表征，在新筆記分發(fā)上取得了非常大的提升。同時(shí)，大語(yǔ)言模型（LLM）的推理能力能夠更好地建模用戶興趣，小紅書通過(guò)讓大模型從歷史行為中推理用戶潛在的新興趣，有效的緩解了信息繭房問(wèn)題，提升了用戶留存。

AI智能創(chuàng)作同樣是小紅書與大模型擦出火花的重要探索領(lǐng)域。今年小紅書內(nèi)部孵化的創(chuàng)新項(xiàng)目InstantID，通過(guò)人臉I(yè)D注入方式，成功在技術(shù)上兼顧了風(fēng)格的保持和人臉I(yè)D的一致性，它不僅風(fēng)格多樣，同時(shí)無(wú)需模型訓(xùn)練，實(shí)現(xiàn)秒級(jí)出圖，為用戶提供了“發(fā)現(xiàn)不一樣的自己”的創(chuàng)作方式。

目前，該項(xiàng)目已向業(yè)界開(kāi)源，為商業(yè)應(yīng)用如電子商務(wù)、廣告和娛樂(lè)產(chǎn)業(yè)創(chuàng)造了新的可能性。

此外，王曉博還認(rèn)為，大模型不僅可以為用戶提供信息和創(chuàng)意，也可以提供很多情緒價(jià)值。為此，小紅書在寵物世界、社區(qū)群聊、官號(hào)私信這幾個(gè)主要場(chǎng)景下，分別搭建了AI寵物、AI群聊、AI助手這一類聊天BOT產(chǎn)品，為用戶提供泛娛樂(lè)功能。

以AI寵物為例，每位用戶都可以領(lǐng)養(yǎng)一個(gè)虛擬寵物，通過(guò)對(duì)話的方式與它交互，在線上互動(dòng)中獲得樂(lè)趣與情感陪伴。在群聊場(chǎng)景，AI 通過(guò)角色扮演的方式將自有性格生動(dòng)的表達(dá)，AI助手也可以將生硬的官方活動(dòng)信息幽默有趣的傳遞給用戶。

“針對(duì)陪伴類聊天應(yīng)用里記憶、人格情緒等技術(shù)難點(diǎn)，小紅書采取了基于記憶網(wǎng)絡(luò)、世界體系和驅(qū)動(dòng)飛輪等技術(shù)相結(jié)合的解決方案。通過(guò)精細(xì)化記憶建模，對(duì)歷史對(duì)話進(jìn)行語(yǔ)義分析、重要性判斷、節(jié)點(diǎn)因子建模，從而深入理解用戶行為，構(gòu)建個(gè)性化互動(dòng)，實(shí)現(xiàn)越交互越聰明，越聰明越交互的良性循環(huán)。”王曉博說(shuō)道。

在演講中，王曉博也指出，應(yīng)用場(chǎng)景的落地離不開(kāi)基礎(chǔ)能力的建設(shè)。

目前，小紅書技術(shù)團(tuán)隊(duì)同時(shí)針對(duì)語(yǔ)言模型和多模態(tài)能力進(jìn)行了綜合研發(fā)，結(jié)合小紅書自身的業(yè)務(wù)場(chǎng)景和需求，更早做了視覺(jué)理解大模型方向的技術(shù)攻關(guān)：在多模模型架構(gòu)、多模態(tài)alignment和整個(gè)數(shù)據(jù)體系和視覺(jué)感知能力上，都做了一定的探索和優(yōu)化；并基于多種類型的圖文數(shù)據(jù)，通過(guò)端到端多模態(tài)訓(xùn)練和優(yōu)化，訓(xùn)練了對(duì)業(yè)務(wù)場(chǎng)景跟友好的視覺(jué)理解大模型，兼顧了圖像分辨率、OCR、長(zhǎng)尾語(yǔ)義識(shí)別等能力。

目前小紅書在引擎技術(shù)上逐步完備布局，在訓(xùn)練方面對(duì)于大模型的工程體系做了完備建設(shè)，包括預(yù)訓(xùn)練、SFT、RLHF都做了針對(duì)模型和硬件的改造加速，自研了推理框架，對(duì)量化壓縮、投機(jī)采樣等技術(shù)都做了進(jìn)一步優(yōu)化。”

其中，比較有亮點(diǎn)的前沿技術(shù)，一是在MoE框架下，做了5D并行的高效率訓(xùn)練，同時(shí)自研了RLHF框架，相較于開(kāi)源框架性能和收斂穩(wěn)定性都有提升。推理上我們做了W4A8模型壓縮，結(jié)合算子優(yōu)化整體性能超過(guò)開(kāi)源框架20%左右。“王曉博介紹道。

最后，王曉博表示：“人工智能技術(shù)在多模態(tài)、Agent、算力層都有望持續(xù)進(jìn)步，小紅書也將借助大模型的能力，進(jìn)一步拉近社區(qū)鏈接的距離，更好賦能小紅書之城的用戶們。”

小紅書于2013年在上海創(chuàng)立，以“Inspire Lives”為使命，形成了內(nèi)容社區(qū)、商業(yè)廣告和電商交易三大業(yè)務(wù)板塊。截至2023年底，小紅書月活用戶數(shù)量超過(guò)3億，超50%用戶為95后；同時(shí)，小紅書社區(qū)擁有超過(guò)1億分享者，他們?cè)谛〖t書上分享經(jīng)驗(yàn)、記錄生活。自成立以來(lái)，小紅書一直以技術(shù)為驅(qū)動(dòng)力，目前持有和申請(qǐng)中的專利、商標(biāo)、版權(quán)超過(guò)4000項(xiàng)，自研的“珠璣”大模型也已通過(guò)算法備案。