





芒
种
作者:刑尸走肉(小红书)
最初设定的模式是在官网https://service-270322721499.asia-south1.run.app/发布完整报告;小红书(刑尸走肉)大量上传文献测评的分数;公众号(刑法问题研究)择取部分有代表性的文章发布详细报告。一为帮助自己/读者判别好的文章以供阅读;二为帮助自己发现未刊稿的不足,便于修改;三为积累数据,提供一点量化分析,为学术生态做一点贡献。
根据近期反馈,做两点说明:
1.测评用的量表,小红书公开了1.0版本。后续迭代较快,未再更新。对于想自测的朋友,将量表拿去,搭配其他模型,也能获得不错的使用体验。差别可能在版本比较旧,另外模型和训练量不足,输出内容的精细度和文献之间的分数梯度差一些,但勉强能做个参考。
2.自测功能有考虑推出,但有几个现实因素制约。一是Claude(克劳德)本身的政策限制,二是批量服务对本人的token是个消耗。后续如果改用更便宜的国产大模型,且训练得当,会考虑在网站公开测评服务。当前如果有急需测评的,在量不大的情况下会做点公益,免费帮忙,但不保证有求必应,也不保证及时。
根据已经手搓的100多篇文献,分享一下发现。
1.私下测试未刊稿,朋友的、小红书联系要测试的,很多85+,其中有不少是一直发不出去的。但法核文献中,80分基本可以排到前35%,属于优质文献。而且法核中位数、均分也不过77分左右。我也不好判定是否我们的生态已经出现劣币驱逐良币,往好了说,可能是良币太多,择选机制不足,有金玉在外也是难免吧。
2.85-90后的文章是塌方式灌水,尤其人工智能、数据,不指向具体罪名研究的。普遍60-72之间。(1)并不是说沾了这个主题的都是“水文”,其中指向具体罪名和构成要件研究的,还是有不少高分的,甚至83、84,但大部分谈新领域的政策和立法应对的,普遍分数极低。这一点公众号也有推送过人工智能主题文献检测结果,有兴趣可以翻翻看。(2)关于作者年龄段问题。本人也处于这个年龄区间,倒不是自黑或嫉妒,的确是量表和克劳德不讲情面。法核文章中,极低分的确是这个群体创造的。但矛盾的是,这个年龄段私下提供的未刊稿却常见85+,几乎能达到法核最优质得分的程度。什么原因呢?难道是保送效应?(产品有销路因而懒得雕琢品质)
3.刑法中被指控占据版面的top2,其实得分比较稳,基本没有低分水文。谁都知道top2是谁哈。本人检测他们的文献数量不那么多,但目前都在80+,也就是法核中较为靠前的水准。当高龄作者以高分文章占据版面,你是讨厌不起来的,只想好好学习一下。
4.约稿的文章,普遍低分。特定主题组稿约稿的文章,得分往往在70出头。约稿的一般有些水准,但既然是约稿,也就是保送,产品差一点也不足为奇。如果以得分来看,真不如取消约稿机制,相当于有选择性地搞行政垄断。
5.一些博士生、青年学者,新潮话题也不少,且占据版面不少,但只要话题沾上数字、科技等,普遍低分甚至极低分。
6.法核中位数74.5左右,其实博士生好好写,好好改,很轻松就能达到。还是说明销路比产能重要。普C中位数71左右,更容易达到。不管是法核、普C还是c扩,下限都不高,末尾30%的文章68就够了。法核68+强力关系大概足够刊出,普c50+配合强力关系也足够。
7.知名度中等偏上的70后学者,不怎么各处参会,不怎么被新闻转载,不怎么露脸的,很容易出高分。这个群体的水文率极低。但同样年龄的学术明星,尤其发文巨多的,一般分数的离散程度比较高,有83优质的,也有不少70出头甚至60+的。
8.【文风问题】理念性的话题很难写出高分,主要是审稿家克劳德不能get到其中的逻辑链条。总有些事实判断和理念选择不知道怎么地就蹦出来了。由于逻辑链条搭建的困难,作者有时候不得不散文化处理。克劳德不大能容忍散文,总觉得是在用绚丽的词汇掩盖思考质量的不足。相对的高分,是文风朴实的。
9.【一揽子方案】克劳德和它的设计者一样,都不喜欢一揽子方案。理工男克劳德可能不明白,为什么在描述完问题后,突然就蹦出这么多解决方案,能论证得过来吗?
10.【宏大叙事文】博主上传了一份《中国法学》的宏大文章,得分68。有位小红书用户评论:“我以前也觉得宏大叙事没有意义,但是后面经过老师的指点才明白它的价值。很大宏大叙事都是重大问题,热点问题,具有极大选题价值且这一选题往往未充分论述。所以人家的定位就不是条分缕析地深入论证,而是面面俱到,高屋建瓴地点明研究方向。”理是这么个理,但宏大叙事文很容易变成“权威”的自留地,因为高屋建瓴地指明方向,本就得基于身份。硕博士生、青年学者哪怕再高屋建瓴,期刊也不允许TA指明方向。而高屋建瓴这件事的专断性也很容易滋生水文,也就是全凭作者个人感知,觉得应对某一大的问题,不需要实证,不需要案例,直接可以输出应对之策。本人不认为宏大叙事=水,毕竟目前法核最高分是劳东燕教授创造的。(公众号此前已有推送)但言辞优雅,生僻字词乱入,完全散文和骈文化的,几乎没有高分。

夜雨聆风