关闭广告

互联网数据“耗尽”后,高质量训练数据从哪里获得?专家热议

南方都市报2025-07-29 12:00:012871人阅读

7月28日,2025世界人工智能大会暨人工智能全球治理高级别会议在上海举行。在“大模型治理和有序发展生态分论坛”上,多位专家围绕大模型时代的数据治理与伦理建设,共商人工智能健康发展路径。有专家指出,互联网数据将在2026年左右被大模型训练“耗尽”已成行业共识,要建设新的高质量数据集,应从垂直行业获取、通过“众包众创”方式与前沿学校学者开展合作等实现。


论坛现场

对未处理的初级数据,比如语音、图像、文本、视频等进行加工处理,进而转换为机器可识别信息的过程,通常被称为数据标注。近年来,随着人工智能技术发展,数据标注成为大模型训练的必要环节,其上游产业需求大量增加。

据南都记者了解,海量、高质量的标注数据成为人工智能快速发展重要支撑的同时,该行业统一标准缺乏、标注质量不齐、人力水平与技术需求不匹配等问题也日益凸显,如何推动数据标注产业高质量发展备受关注。

上海库帕思科技有限公司首席运营官施佳樑在会上分享了他对数据标注行业的观察。随着人工智能技术的发展,数据标注行业正经历从人力密集型向知识密集型转变。从前,数据标注行业对就业的带动效果较为明显,主力人群为四、五线城市的大专生,涉及图像识别和语音转写等简单任务。

然而,随着大模型的引入,对高质量数据集的需求增加,标注工作开始涉及更复杂的学术难题和行业专业知识。据他观察,如今越来越多的高校学者、各行业的资深专家参与到数据标注过程中,以构建具备强推理思维链的数据和行业语料库。这种转变不仅提升了标注行业的专业性,也引发该就业市场的巨大变化。

“机器的自动合成往往是基于专家的标注,专家人工编写以后,再由机器完成二次合成。标注行业往高阶发展就会是这样的趋势。”他表示,今后在构建行业语料库的过程中,简单标注的数据标注师或逐渐被取代。

高质量数据集已成为人工智能发展的核心驱动力。百度技术委员会理事长陈尚义在会上谈到,大模型发展至今,高质量数据短缺的情况越发严重,合成数据已逐渐成为应对大模型训练数据短缺的新思路,但也存在许多顽固问题。

他强调,合成数据通常存在缺陷、误差、歧视等问题。原因在于合成数据也是基于现有数据生成或是受到现有数据的影响。“如果算法有偏见的话,它可能会带来更大的数据偏见,导致‘Garbage in garbage out’。”另一方面,合成数据存在伦理、公平性和隐私泄露的风险。“通过合成数据的‘逆向工程’,能够猜到原本数据中包含的一些个人隐私。”

施佳樑也表示,如今行业内已基本达成共识,无论国内国外,2026年左右互联网数据即将被大模型训练耗尽。那么,作为增量的高质量数据应从哪里获得?

施佳樑认为可以从三个方向发力。一是来自于当前各个垂直行业,各大互联网数据更多是作为通用数据来源,但每个垂直行业积累了海量专业知识,比如金融、教育、文旅行业等专业数据都非常值得重视。不过值得注意的是,行业数据作为模型的高级燃料,也是垂类公司最深的“护城河”,如何呼吁各行业形成数据“联盟”,共享行业语料,形成正向循环还值得思考。

二是希望通过“众包众创”方式,联合学术前沿的学校老师开展合作,共同构建高质量数据集。“据我观察,很多学科可能在学术前沿方面走得比企业更远,企业更多关注市场性的问题。”三是对于具身智能等特定领域,此前并无机器人动作数据等积累,需“从无到有”建立数据采集场进行真机采集。

去年3月,全国首家人工智能语料公司“库帕思”在上海成立。南都记者了解到,今年大会期间,该公司宣布启用全国首个语料运营公共服务统一门户,推动语料调用服务智能体化。同时,其内部运行的语料工具链平台,目前已完成400多个功能模块,在医疗、教育、金融、城市治理等领域投入实战。

施佳樑提到,上海有数据集团、数据交易所的情况下,还要成立库帕思这一专门提供大模型语料服务的公司,主要原因在于人工智能大模型领域的数据治理,与传统的数据治理存在较大差异。

他解释,传统数据更多以数值、结构化形态存在,“比方说一个区域有多少人,这个区域的房价是多少,人均收入是多少,每一个人的存款有多少,都是数值型的。”传统的数据治理更注重于数据清洗环节,去掉一些空值、无效或异常数据等。

大模型能够分析复杂的非结构化数据,其语料有高密度、高专业性需求,它需要理解数据内容,比如一道数学题的推理过程,一篇期刊论文里面的化学分子式等,其间会用到图像识别、自然语言处理等技术,处理的数据模块可能包含文本、图像、音频等形式。“数据应用场景不同,治理思路也不同。”

采写:南都N视频记者 樊文扬 杨柳 王子黎 发自上海

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

第三代UNI-V正式上市 指导价10.29-11.99万元

网易汽车 浏览 2279 08-09

雷军说YU7有不可替代的魅力 5月22日发布

网易汽车 浏览 635 05-22

朱广权喊风神放手一搏,风神L8限时置换价11.39万元起

网易汽车 浏览 12 08-30

技嘉海外闹乌龙:捆绑销售英特尔 Z890 主板和 LGA1700 处理器

IT之家 浏览 2040 08-07

苹果回应首次在中国关停直营店

每日经济新闻 浏览 4029 07-30

酷比魔方将推出新款 Windows 二合一 PC平板

IT之家 浏览 3383 08-09

德利赫特:所有人都保持了良好的状态,库尼亚的表现真的很好

懂球帝 浏览 9935 07-27

男子被无罪羁押17年申请国赔1911万:希望活着得到赔偿

极目新闻 浏览 36 08-23

蔚来全新ES8价格大跳水,老车主怒骂“背刺”!李斌:要先活下去

地产深度报道 浏览 19 08-23

让女人越来越美的5个好习惯!

LinkFashion 浏览 9376 05-24

阿斯:巴萨与黄潜的球员未收到移赛的详细计划,对此表示疑惑

懂球帝 浏览 2993 08-12

全智贤眼里有光了!网友猜测她要离婚,近照似少女打扮粉嫩秀身材

萌神木木 浏览 278 07-09

S-希门尼斯经纪人否认转会传闻:他不会离开米兰,都是假消息

直播吧 浏览 17 08-27

美国防部承认美空军基地在6月被伊朗导弹击中

界面新闻 浏览 8547 07-12

暑期档五大票房惨案,陈思诚章子怡联手上榜,姜文新片亏了2.5亿

靠谱电影君 浏览 9601 08-07

砍价!莫斯克拉身价3000万欧&标价近2000万,枪手1500万+浮动拿下

直播吧 浏览 857 07-25

女演员黄璐官宣恋情,晒出多张合照

话娱论影 浏览 7259 08-11

音乐产业的黑色幽默:学的人比听的人多

虎嗅APP 浏览 2244 08-05

特斯拉Autopilot宣传涉误导,美国加州经销商执照面临危机

环球网资讯 浏览 2028 07-23

TA:沙特联赛将首次迎来外资收购,目前交易已进入最后阶段

懂球帝 浏览 5916 07-19

1月29日客场对阵骑士!整个2025年詹姆斯将无法在克利夫兰打球!

直播吧 浏览 3687 08-09
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除沪ICP备20017958号-3