一手实测DeepSeek V4 Pro,体验了一把后训练带来的神威

图片
大半夜的,正看着电视刷着手机呢;
被各种群刷屏了,
DeepSeek V4 Pro 正式版发布了。
这次依然没有过多的宣传,还得是靠着广大网友们奔走相告才知道;Benchmark成绩在这儿了:
图片
这些Benchmark里有几个是比较引起我注意的,
一个是DeepSWE提升巨大。 
给还不清楚的小伙伴简单解释一下,DeepSWE是目前相对还比较新的测试模型代码能力的一个Benchmark,5月份才发布第一个版本。
图片
整体上我自己觉得除了极个别模型有争议之外,整体还是值得参考的。
而DeepSeek V4 Pro 这一个版本直接从之前的12.8飞升到62.7,超过了Opus 4.8了。
到底是DeepSeek 后训练法力无边还是A社这Opus 4.8 模型真就是路边一条?!
还有一个我觉得值得看的Benchmark 是Agents' Last Exam,主要测试的是Agent 到底能不能完成真实世界里有经济价值的专业工作。 
整个任务覆盖了50多个领域。目前整体的排行是下面这样: 
图片
DeepSeek V4 Pro 新版本直接从16.5提升到25.7 基本上已经要摸到Codex + 5.5的位置了。
再考虑到DeepSeek本身高缓存命中带来的低价格,感觉这以后就是妥妥的干活的牛马主力了。  
(此刻跪求官方别马上涨价。。)
还有一个是CyberGym,它是主要测试Agent 在真实世界的网络安全能力的。 
这个是目前的排行榜单,
图片
可以看到DeepSeek V4 Flash 其实已经很高了。
只是新的V4 Pro 更加变态,从52.7飞跃到83.3,比敏感肌Fable 5 还高了要,这特么还是在它最喜欢吹嘘的网络安全领域。
我也把它放在我自己写的Agent里,叫Bubble Code,进行测试了一下,让它修了几个bug。 
一个是我发现我这个目前基于TUI的这个agent里,
我如果发送的消息一长,变成那种缩略占位符之后,我按方向上键,是没办法回滚到这条缩略占位符的消息的
图片
先让DeepSeek V4 Pro 帮我定位一下这个问题。 
我这项目代码量在14.6万行,当然绝对算不上很多,但是也已经不是那种随便做做的小demo了。
图片
它定位的还是又快又精准的,基本上1分钟左右就完成任务找到问题了。
接下来就是修复。 
图片
它是一把成功的 ,而且修复的速度很快。 
图片
大家千万不要小瞧这个速度快这一点。Agent 时代,速度、质量、价格这三个因素真的是同等重要的。 
甚至我自己的一个暴论是,这三者你能得其二,然后有一个不要太差,你就根本不担心缺用户。。  
更不要说DeepSeek 速度和价格都是做到极致的代表。
我自己一直在用codex,但自从用5.6 Sol开始,已经逐渐抓狂了。因为它现在速度又慢,然后还很爱钻牛角尖,给我打补丁和疯狂写测试。。。 
导致我其实一个可能很简单的需求,它会给我做的很复杂,让我等很久,甚至有过等到我忘记我还有个任务在进行着。。。  
我让它做的第二个任务是,
我有一个Agent 工作台,叫Aegis,仿着Codex样子写的,谁叫它好看呢?!
这个项目代码也有11万行了。
图片
这里面接入了各种主流的Agent,当然,也包括了我自己的Bubble Code,也就是前面说的那个。 
然后我发现我自己的这个Bubble Code 里还没有接入一个功能是,通过斜杠,唤起各种TUI里能有的命令。
我还是来让Bubble Code + DeepSeek V4 Pro 诊断一下。
图片
就分析问题还是分析的非常准确的,我觉得。而且虽然是V4 Pro + Max 的思考深度,但是速度仍然很快。 
然后就是修复问题了,我让它先把/compact 还有/rewind 这两个命令先接入,这波直接开了一个goal命令,
图片
一方面是测试一下新的V4 Pro 跟我的这个Agent搭不搭配,另一方面,是看它能不能很好的完成这种长时任务。 
图片
做了快18分钟完成,质量我觉得还是不错的。
图片
我要求的两个命令都完成了接入,然后我实测了一下/rewind 命令和/compact 命令是都能工作的,不是那种只是简单的前端接入。 
图片
最后我也稍微看了下,在我这个自己写的agent里,DeepSeek 的缓存命中率是什么样的。 
图片
让gpt 算了一下,缓存命中率在97.3%,我觉得对我来说自己用是已经完全够了,
完全可以做我日常牛马的主力,甚至因为它的速度更快,很多时候我大部分日常任务可能还更愿意用它,而不是codex了还。
好啦,今天的体验就先到这里了,
因为时间关系,目前只是一个非常初步的体验,可能也不太准确。听说明天DeepSeek Harness要公测了,到时候让我好好体验了一下,再来给大家汇报! 
以上,