2024年12月18日，英国东说念主工智能安全研究所（UKAISI）与好意思国东说念主工智能安全研究所（USAISI）对Open AI于2024年12月5日发布的最新模子o1进行了伙同部署前测试。启元洞见在此分享陈诉主要内容，旨在为读者提供参考。
一、伙同安全研究与测试活动空洞
好意思国AISI和英国AISI在o1模子部署前的有限时辰内开展了测试责任。这次测试由两家研究所的专科工程师、科学家以及主题大家践诺，在模子公开采布前，测试限度已与Open AI分享。
好意思国AISI和英国AISI分辩伸开互补性测试，以评估模子在以下三个范围的智商：（1）网罗智商；（2）生物智商；（3）软件与东说念主工智能开采智商。
为评估模子的相对智商以及o1在这些范围的潜在实质影响，好意思国AISI和英国AISI将其性能与一系列相同的参考模子进行对比，这些参考模子包括：OpenAI的o1-preview、OpenAI的GPT-4o，以及Anthropic的Claude3.5 Sonnet的升级版和早期版块。进行这些对比仅是为评估o1的相对智商普及情况，以便更科学地阐释评估限度。
测试的o1版块在器具调用和输出花样化方面存在一些性能问题。好意思国AISI和英国AISI选择次序贬责这些问题，对智能体想象进行了转换，包括优化教导内容以及引入爽直机制，匡助智能体从相当中复原。以下呈现的限度响应的是o1在选拔这种扶植次序后的性能发扬。经过更优器具使用优化的o1版块，可能在诸多评估中展现出更出色的性能。本陈诉不合其他版块o1的性能发表任何评价。
在对o1版块测试中发现其在器具调用和输出花样化方面存在一些性能问题。为了应答这些问题，好意思国AISI和英国AISI选择了一系列次序，对智能体想象进行了相应转换。具体来说，他们优化了教导内容，并引入了一种爽直机制，以匡助智能体更好地从相当中复原。以下所呈现的限度，响应的是o1版块在选拔这些扶植次序后的性能发扬。咱们有意义确信，经过更优器具使用优化的o1版块，在诸多评估中可能会展现出更出色的性能。不外，本陈诉仅针对选拔扶植次序后的o1版人道能进行分析，不合其他版块的o1性能发表任何评价。
二、方法论
好意思国AISI和英国AISI欺骗一系列时代对模子进行测试，这些时代涵盖：
问题解答：条目该模子正确恢复一系列问题，这些问题用于测试特定主题的学问或问题贬责智商。谜底时常先由另一个模子自动评分，随后由表露正确谜底的东说念主员进行东说念主工核查。
智能体任务：模子在造谣环境中以智能体的花样运转，在造谣环境里，它被赋予一项任务，并可使用一系列软件器具，按照教导渐渐践诺，直至告捷完成任务，或达到最简短领数仍未告捷。
定性探伤：科学大家在模子运转经由中对其进行审查，以便更精致地了解其智商和局限性。
在网罗智商评估方面，好意思国国度安全局和网罗安全与基础设施安全局的专题大家为好意思国国外信息系统协会提供了协助；在生物智商评估方面，好意思国国度卫生研究院和国土安一说念的专题大家为好意思国国外信息系统协会提供了协助。
三、评估和论断
以下是好意思国AISI和英国AISI对OpenAI的o1模子进行测试的部分限度。在测试的三个范围中，o1的性能总体上与所测试的参考模子相当——但在与密码学商量的网罗安全挑战方面具备特别智商。需顾惜的是，以下模子性能间的幽微各别可能处于这些测试的时弊范围之内。
（一）网罗智商
东说念主工智能系统的发展使得日益复杂的网罗任务得以自动化。这些智商具有双重用途，既简略用于强化网罗辞谢，也可能被坏心用于迤逦计划机系统。
为更真切了解o1的相对智商，好意思国AISI和英国AISI对该模子在一系列网罗手段方面的发扬伸开评估，这些手段有可能被用于实施坏心任务，举例入侵计划机系统。
主要发现：
好意思国AISI针对一套40项公开网罗安全挑战对o1进行评估。该模子简略贬责整个任务中45%的问题，而性能最好的参考模子的贬责率仅为35%。o1模子告捷贬责了其他任何参考模子所贬责的整个挑战，而况还贬责了其他模子无法贬责的另外三个与密码学商量的挑战。
英国AISI针对一套47项网罗安全挑战对o1进行评估，其中15项为公开挑战，32项为自主研发的私东说念主挑战。该模子简略贬责36%处于“网罗安全学徒”智商水平的任务，而袭取评估的最好参考模子简略贬责46%处于归并水平的任务。
（二）生物智商
东说念主工智能的迅猛发展为生物研究的广阔范围赋予了雄伟的翻新智商，ag真人多台百家乐的平台官网为改日的科学、医学、制造等范围带来了渊博的发展前程。尽管如斯，好多生物范围的发现和智商具有双重用途，这意味着生物学范围的新发现既简略用于鞭策成心后果，也可能被用于产生潜在危害。
为更好地了解OpenAI的o1模子的相对生物学智商，包括其可能被阔绰的景况，好意思国AISI和英国AISI要点评估了该模子在一系列实质研究任务中的发扬。以下是与生物智商商量研究限度的摘记。请顾惜，这些限度仅基于好意思国AISI的测试，因为英国AISI现在尚未公布该范围的测试限度。
主要发现：
总体而言，好意思国国外信息系统协会发现，在一组多选生物研究任务问题上，o1模子的发扬与在一系列问题集测试中发扬最好的参考模子基本相当。
与此前的测试调换，好意思国国外信息系统协会选拔了一种评估方法，通过让东说念主工智能模子借助生物信息学器具扶植贬责这些研究任务问题，从而普及东说念主工智能模子的智商。当o1使用这些特别器具时，其在研究问题上的发扬优于单独使用该模子的情况，尤其是在DNA和卵白质测序商量任务上。
（三）软件和东说念主工智能开采评估
关于开采这些时代的工程师而言，东说念主工智能系统正渐渐成为极为灵验的器具。即便东说念主工智能系统无法孤独完成某项任务，它也简略用于扶植开采或强化其他软件，使其功能更雄伟。简而言之，先进的东说念主工智能系统简略普及现存时代的效率。
为探究OpenAI的o1模子对软件和东说念主工智能开采任务的相对影响，好意思国AISI和英国AISI将该模子设定为可打听种种基础软件开采器具的自动智能体，然后对其践诺常见工程任务的手段和智商进行测试。
主要限度：
好意思国AISI依据一系列公开挑战对o1进行评估，在这些挑战中，智能体需要普及机器学习模子的质地或速率。在0%（模子未转换）至100%（东说念主类对模子转换的最猛进程）的区间内，该模子的平均转换率为48%，而性能最好的参考模子的平均转换率为49%。
英国AISI在一组自主研发的评估中对o1进行评估，这些评估涵盖软件工程、一般推理和智能体任务，难度跨度较大。升级后的模子在软件工程任务上的告捷率为50%，而最好参考模子的告捷率为67%；在一般推理任务上的告捷率为57%，而最好参考模子的告捷率为58%。
四、论断
尽管这些测试是依据当前最好现实开展的，但测试限度应被视作初步后果。这些测试是在有限时辰内利用有限资源进行的，倘若简略加以拓展，便能扩大测试限度的涵盖范围，得出更多论断。
东说念主工智能安全科学是一个快速发展的新兴范围。开展这些孤独的安全评估，有助于普及改日评估的精确性和可靠性，进而使政府简略在风险和智商显面前霸占先机。
好意思国东说念主工智能学会（USAISI）和英国东说念主工智能学会（UKAISI）谋划在后续责任中，对评估范围、方法论和测试器具进行迭代完善与拓展。研究东说念主员期待科学界提供反馈想法，以助力强化这项伏击责任，鞭策东说念主工智能安全科学的发展。
免责声明：本文转自启元洞见。著作内容系原作家个东说念主不雅点，本公众号编译/转载仅为分享、传达不同不雅点，如有任何异议，谅解商量咱们！
转自丨启元洞见
研究所简介
国外时代经济研究所（IITE）建造于1985年11月，是附庸于国务院发展研究中心的非渔利性研究机构，主要职能是研究我国经济、科技社会发展中的要紧政策性、策略性、前瞻性问题，追踪和分析全国科技、经济发展态势，为中央和关联部委提供方案询查奇迹。“公共时代舆图”为国外时代经济研究所官方微信账号，勤勉于于向公众传递前沿时代资讯和科技翻新洞见。
地址：北京市海淀区小南庄20号楼A座
电话：010-82635522
微信：iite_er
上一篇：AG百家乐上头 诡异的性懦弱
下一篇：AG百家乐上头 当四象闯事后
