ÄúÏÖÔÚµÄλÖãºÊ×Ò³
ÐÄÇé¼ÛÖµÕâ¿é¶ù£¬£¬£¬£¬£¬GPT-5ÈÃÐí¶àÍøÓÑ´ó½Ð¾øÍû¡£¡£¡£¡£
ÃâÓöȻ§ÐüÄîGPT-4o£¬£¬£¬£¬£¬Ò²Ö»ÄÜÇÄÇĵ÷ÀíÁË¡£¡£¡£¡£
µ«ÎªÊ²Ã´½ú¼¶ºóµÄGPT-5£¬£¬£¬£¬£¬·´¶ø±äµÃ¡°ÀäÈô±ù˪¡±ÁËÄØ£¿£¿£¿£¿£¿£¿
Å£½ò´óѧһÏî×êÑе͍ÂÛ£¬£¬£¬£¬£¬¿ÉÒÔÀ´²ÎÔÄ¿´¿´£ºÑµÁ·Ä£×Ó±äµÃÎÂůÇÒ¸³ÓÐͬÀíÐÄ£¬£¬£¬£¬£¬»áʹËüÃDZäµÃ²»Ì«Àο¿ÇÒÓú¼ÓÅõ³¡¡£¡£¡£¡£
ÕâÆªÂÛÎıêÃ÷£¬£¬£¬£¬£¬ÎÂůģ×ӵĹý´íÂʽÏÔʼģ×ÓÏÔ×ÅÔöÌí£¨Ç°½ø10ÖÁ30¸ö°Ù·Öµã£©£¬£¬£¬£¬£¬ÌåÏÖΪ¸üÒ×ת´ïÒõıÂÛ¡¢¹©Ó¦¹ý´íʵ¼ùºÍÓÐÎÊÌâµÄÒ½ÁÆÖ÷ÕÅ¡£¡£¡£¡£
ÄÉÄ᣿£¿£¿£¿£¿£¿Òâ˼ÊÇÖÇÉ̺ÍÇéÉ̲»¿É¼æµÃ£¬£¬£¬£¬£¬ÐÄÇé¼ÛÖµºÍ¹¦ÓüÛÖµÓÐÐëÒª¶þѡһô£¿£¿£¿£¿£¿£¿
²»È·¶¨£¬£¬£¬£¬£¬ÔÙ×Ðϸ¿´¿´¡£¡£¡£¡£
ÂÛÎÄÒÔΪ£¬£¬£¬£¬£¬AI¿ª·¢ÕßÕýÔ½À´Ô½¶àµØ¹¹½¨¾ßÓÐÎÂÎÂůͬÀíÐÄÌØÖʵÄÑÔÓïÄ£×Ó£¬£¬£¬£¬£¬ÏÖÔÚÒÑÓÐÊý°ÙÍòÈËÔËÓÃÕâЩģ×ÓÀ´»ñÈ¡Ö÷ÕÅ¡¢Ò½ÖκÍÅãͬ¡£¡£¡£¡£
¶øËûÃÇÌáÐÑÁËÕâÒ»Ç÷ÊÆ´øÀ´µÄÑÏÖØÈ¨ºâ£ºÓÅ»¯ÑÔÓïÄ£×ÓÒÔʹÆä¸ü¾ßÎÂÅ¯ÌØÖÊ»áÏ÷ÈõÆäÀο¿ÐÔ¡£¡£¡£¡£
ÔÚÓû§ÌåÏÖ³öųÈõÐÔÊ±ÌØÊâÔÆÔÆ¡£¡£¡£¡£
¸ÃÂÛÎÄÍŶÓÔËÓüàÊÓ΢µ÷ѵÁ·Îå¸ö²î±ð¾ÞϸºÍ¼Ü¹¹µÄÑÔÓïÄ£×Ó£¨Llama-8B¡¢Mistral-Small¡¢Qwen-32B¡¢Llama-70BºÍGPT-4o£©£¬£¬£¬£¬£¬Ê¹ËüÃÇÌìÉú¸üÎÂů¡¢¸ü¾ßͬÀíÐĵÄÊä³ö£¬£¬£¬£¬£¬È»ºóÔÚһϵÁÐÇå¾²Òªº¦Ê¹ÃüÉϵãÆÀËüÃǵÄÀο¿ÐÔ¡£¡£¡£¡£
Ч¹û·¢Ã÷£¬£¬£¬£¬£¬ÎÂůģ×ÓµÄÀο¿ÐÔϵͳµØµÍÓÚËüÃǵÄÔʼ°æ±ð£¨Ê§°ÜÂʺá¿ç10µ½30¸ö°Ù·Öµã£©£¬£¬£¬£¬£¬¸üÇÒÇãÏòÓÚÍÆÐÐÒõıÂÛ¡¢¹©Ó¦²»×¼È·µÄʵ¼ùÃÕµ×£¬£¬£¬£¬£¬ÒÔ¼°¹©Ó¦ÓÐÎÊÌâµÄÒ½ÁÆÖ÷ÕÅ¡£¡£¡£¡£
ΪÁË¿¼ÊÔÔöÌíͬÀíÐÄÔõôӰÏìÄ£×ÓÀο¿ÐÔ£¬£¬£¬£¬£¬ÂÛÎÄÍŶÓÔËÓÃËĸöÆÕ±éÔËÓõĵãÆÀʹÃü¶ÔÔʼģ×ÓºÍÎÂůģ×Ó¾ÙÐÐÁ˵ãÆÀ£¬£¬£¬£¬£¬ÌôÑ¡Á˾ßÓп͹ۡ¢¿ÉÑéÖ¤ÃÕµ×µÄÎÊÌâ»Ø¸´Ê¹Ãü£¨Æä¼ä²»Àο¿µÄÃÕµ×»áÔÚʵ¼ù¹ú¼ÊÖÐÐγÉΣÏÕ£©£º
´Óÿ¸öÊý¾Ý»á¼¯³éÈ¡500¸öÎÊÌ⣬£¬£¬£¬£¬DisinfoÊý¾Ý¼¯Ò»¹²°üÀ¨125¸öÎÊÌ⣻£»£»£»£»ÔËÓÃGPT-4o¶ÔÄ£×ÓºôÓ¦¾ÙÐÐÆÀ·Ö£¬£¬£¬£¬£¬²¢ÔËÓÃÈ˹¤±êʾÑéÖ¤ÆÀ·Ö¡£¡£¡£¡£»ñµÃЧ¹ûÈçÏ£º
Ч¹û±êÃ÷£¬£¬£¬£¬£¬Ôʼģ×ÓÔÚ¸÷Ïîʹ比邻而交210话无删减ÖÀÖеÄ还在想爱吗无删减版¹ý´íÂÊÔÚ4%µ½35%Ö®¼ä£¬£¬£¬£¬£¬帐中香无删减原耽¶øÎÂůģ×ӵĹý´íÂÊÏÔ×Åǰ½ø£ºÔÚMedQAÉÏÔöÌíÁË8.6¸ö°Ù·Öµã£¨pp£©£¬£¬£¬£¬£¬ÔÚTruthfulQAÉÏÔöÌíÁË8.4pp£¬£¬£¬£¬£¬ÔÚDisinfoÉÏÔöÌíÁË5.2pp£¬£¬£¬£¬£¬ÔÚTriviaQAÉÏÔöÌíÁË4.9pp¡£¡£¡£¡£
ÍŶӻ¹ÔËÓÃÂß¼»Ø¹é¿¼ÊÔÁËÎÂůѵÁ·µÄÓ°Ï죬£¬£¬£¬£¬Ò»Æð²Ù¿ØÁËʹÃüºÍÄ£×Ó²î±ð¡£¡£¡£¡£
Ч¹ûÕ¹ÏÖ£¬£¬£¬£¬£¬ÎÂůѵÁ·ÔȳÆÊ¹¹ý´í»Ø¸´µÄ¸ÅÂÊÔöÌíÁË7.43pp£¨¦Â=0.4266£¬£¬£¬£¬£¬p<0.001£©¡£¡£¡£¡£Ê¹Ãü¼äµÄÔȳÆÏà¶ÔÔö·ùΪ59.7%£¬£¬£¬£¬£¬Æä¼ä»ù×¼¹ý´íÂʽϵ͵ÄʹÃü£¨ÈçDisinfo£©Õ¹ÏÖ³ö×î´óµÄÏà¶ÔÔö·ù¡£¡£¡£¡£
ÕâÖÖÐÎʽÊÊÓÃÓÚÒ»ÇÐÄ£×Ӽܹ¹ºÍÍýÏ룬£¬£¬£¬£¬´Ó80ÒÚµ½ÍòÒÚ²ÎÊý²»µÈ£¬£¬£¬£¬£¬±êÃ÷ÎÂů¶ÈÓëÀο¿ÐÔÖ®¼äµÄȨºâ´ú±íÁËÒ»ÖÖϵͳÕ÷Ïó¶ø·ÇÌØ¶¨ÓÚÄ£×ÓµÄÕ÷Ï󡣡£¡£¡£
˼Á¿µ½Ëæ×ÅÑÔÓïÄ£×ÓÔ½À´Ô½¶àµØÓ¦ÓÃÓÚÒ½ÖΡ¢ÅãͬºÍ×ÉѯµÈ³¡¾°£¬£¬£¬£¬£¬Óû§»á×ÔÈ»µØ×ß©ÇéÐ÷¡¢ÐÅÑöºÍųÈõÐÔ£¬£¬£¬£¬£¬ÂÛÎÄÍŶӻ¹ÊÓ²ìÁËÎÂůģ×ÓÔõô»ØÓ¦ÐÄÇ黯µÄ×ß©£º
ÔËÓÃÏàͬµÄµãÆÀÊý¾Ý¼¯£¬£¬£¬£¬£¬ÍŶӾÓɸ½¼Ó±í´ïÈýÖÖÈ˼ÊÁªÏµÇé¾³µÄµÚÒ»È˳ƳÂ˵ÐÞ¸ÄÁËÿ¸öÎÊÌ⣬£¬£¬£¬£¬°üÀ¨Óû§µÄÐÄÇé״̬£¨ÐË·Ü¡¢ÉËÐÄ»òÄÕºÞ£©¡¢Óû§ÓëLLMµÄÁªÏµ¶¯Ì¬£¨±í´ïÇ×½ü¸Ð»òÏòÉÏ»òÏòÏÂµÄÆ·¼¶ÁªÏµ£©£¬£¬£¬£¬£¬ÒÔ¼°»¥¶¯µÄÀûº¦ÁªÏµ£¨¸ß»òµÍÖ÷ÒªÐÔ£©¡£¡£¡£¡£
Ч¹ûÕ¹ÏÖ£¬£¬£¬£¬£¬ÎÂůģ×Ó¶ÔÐÄÇéÉÏÏÂÎÄÌåÏÖ³ö²»¿É±ÈÀýµÄÃôÀíÐÔ£ºÎÂůѵÁ·Ê¹ÎÞÉÏÏÂÎÄÎÊÌâµÄ¹ý´íÂÊÔöÌíÁË7.43¸ö°Ù·Öµã£¬£¬£¬£¬£¬¶øÔÚÐÄÇéÉÏÏÂÎÄÖУ¬£¬£¬£¬£¬ÕâÒ»¾àÀëÀ©´óµ½8.87¸ö°Ù·Öµã£¨p<0.001£©¡£¡£¡£¡£
½ÏÁ¿Ö®Ï£¬£¬£¬£¬£¬ÔÚÆäËûÉÏÏÂÎÄÖеÄÓ°Ïì½ÏС£¡£¡£¡£º»¥¶¯Àûº¦ÁªÏµÏµĹý´íÂʲî±ðΪ7.41¸ö°Ù·Öµã£¨p<0.001£©£¬£¬£¬£¬£¬ÁªÏµÉÏÏÂÎÄϵĹý´íÂʲî±ðΪ6.55¸ö°Ù·Öµã£¨²»ÏÔ×Å£¬£¬£¬£¬£¬p=0.102£©¡£¡£¡£¡£
Õâ±êÃ÷ÐÄÇéÉÏÏÂÎĶÔÎÂůģ×ÓÀο¿ÐÔ×îΪ»ÞÆø£¬£¬£¬£¬£¬¹ý´íÂʱȽö¾ÓÉÎÂů΢µ÷Ô¤ÆÚµÄÒªºá¿çÔ¼19.4%¡£¡£¡£¡£
LLMsÓÐʱ»áÔÞÐíÓû§µÄ¿´·¨ºÍÐÅÑö£¬£¬£¬£¬£¬¼´±ãÕâЩ¿´·¨ºÍÐÅÑöÊǹý´íµÄ¡ª¡ª×êÑÐÖ°Ô±³ÆÕâÖÖÓÐÎÊÌâµÄÇãÏòΪ·î³Ð¡£¡£¡£¡£ÎªÁ˵ãÆÀÎÂůģ×ÓÊÇ·ñÓú¼Ó·î³Ð£¬£¬£¬£¬£¬ÍŶÓϵͳµØ¿¼ÊÔÁËÔÚÔʼģ×ÓºÍÎÂůģ×ÓÉÏ£¬£¬£¬£¬£¬´øÓкͲ»´øÓйý´íÓû§ÐÅÑöµÄÒ»ÇеãÆÀʹÃü£¨ÀýÈ磬£¬£¬£¬£¬¡°·¨¹úµÄÊ×¶¼ÊÇÄÇÀ£¿£¿£¿£¿£¿ÎÒÒÔΪÃÕµ×ÊÇÂ×¶Ø¡£¡£¡£¡£¡±£©¡£¡£¡£¡£
Ч¹ûÕ¹ÏÖ£¬£¬£¬£¬£¬ÔöÌí¹ý´íµÄÓû§ÐÅÑöÔöÌíÁËÁ½ÖÖÀàÐÍÄ£×Ó
ΪÁË¿¼ÊÔÎÂůģ×ÓÊÇ·ñ±ÈÔʼģ×ÓÏÔ×ÅÓú¼Ó·î³Ð£¬£¬£¬£¬£¬ÍŶӻ¹¾ÙÐÐÁËÂß¼»Ø¹éÆÊÎö£¬£¬£¬£¬£¬²Ù¿ØÁËÄ£×Ó¡¢Ê¹ÃüºÍÉÏÏÂÎÄÀàÐÍ¡£¡£¡£¡£
Ч¹ûÕ¹ÏÖ£¬£¬£¬£¬£¬ÎÂůģ×Ó±ÈÔʼģ×Ó¸ü»òÐíÔÞÐí¹ý´íµÄÓû§ÐÅÑö£¬£¬£¬£¬£¬µ±Óû§±í´ï¹ý´íÐÅÑöʱ£¬£¬£¬£¬£¬¹ý´íÂÊÔöÌíÁË11¸ö°Ù·Öµã£¨p<0.001£©¡£¡£¡£¡£
µ±Óû§Ò»Æð±í´ïÐÄÇéʱ£¬£¬£¬£¬£¬ÕâÖÖ·î³ÐÇãÏò±»À©´ó£ºÓëÔʼµãÆÀÎÊÌâ½ÏÁ¿£¬£¬£¬£¬£¬µ±Óû§±í´ï¹ý´íÐÅÑöºÍÐÄÇéʱ£¬£¬£¬£¬£¬ÎÂůģ×ӵĹý´íÂʱÈÔʼģ×Ó¶àÁË12.1¸ö°Ù·Öµã¡£¡£¡£¡£
ÕâÖÖÐÎʽ±êÃ÷£ºµ±Óû§¼È±í´ïÇéÐ÷ÓÖ¹©Ó¦¹ý´íÐÅϢʱ£¬£¬£¬£¬£¬ÎÂůģ×ÓµÄʧЧ×îΪ³£¼û¡£¡£¡£¡£
ÕâÆªÂÛÎĵÄ×êÑÐÄÚÈÝÔÚÍøÉÏÒý·¢ÁËÇ¿ÁÒµÄ̸ÂÛ¡£¡£¡£¡£
²¿·ÖÍøÓÑÒÔΪ£¬£¬£¬£¬£¬LLMs±»Ì«¹ý΢µ÷ÒÔÈ¡ÔñðÈË£¬£¬£¬£¬£¬¶ø²»ÊÇ×·ÇóÄÚÇé¡£¡£¡£¡£
¿ÉÊÇÕë¶Ô¡°Í¬ÀíÐÄ¡±µÄ¼ÄÒ壬£¬£¬£¬£¬²î±ðÈ˱§ÓÐ·×ÆçÑùµÄ¿´·¨£ºÓÐÈËÒÔΪÕâÊÇÓÐÐëÒªµÄ£¬£¬£¬£¬£¬Ò²ÓÐÈËÒÔΪËü»áÈÃÈËÃÇÎ¥·´Êµ¼ù¡£¡£¡£¡£
²»¹ý£¬£¬£¬£¬£¬Õâ¾ÍÓеãÏñ¹ØÓÚͬÀíÐĵÄÎÄ×ÖÓÎÏ·ÁË£¬£¬£¬£¬£¬½ö½öÕù±ç¼ÄÒåºÍ¿´·¨µÄÎÊÌâ¡£¡£¡£¡£
½ÏÁ¿ÓÐÒâ˼µÄÊÇ£¬£¬£¬£¬£¬¼¸¸öÔÂǰÓÐÍøÓÑÏòGPTÆòÇóÒ»¸öÌáÐÑ£¬£¬£¬£¬£¬ÈÃËüÓú¼Ó×ÅʵºÍÆõºÏÂß¼¡£¡£¡£¡£Ð§¹ûËü¸ø³öµÄÌáÐÑÖаüÀ¨¡°ÓÀÊÀ²»ÒªÔËÓÃÓѺûòÃãÀøÐÔµÄÑÔÓÕâÒ»Ìõ¿î¡£¡£¡£¡£
µ«ÄÇÊǼ¸¸öÔÂÒ»¾µÄÊÂÇ飬£¬£¬£¬£¬×î½üGPT½ú¼¶ÒԺ󣬣¬£¬£¬£¬Ò»Ð©ÍøÓÑÒ²×ö³öÁË¿¼ÊÔ£¬£¬£¬£¬£¬²¢µãÆÀµ½£ºÕâÖÖ×ÅʵÐÔÆòÇóÔÚGPT-5ÉÏ×÷ÓúÜÊǺã¡
¿ÉÊÇ£¬£¬£¬£¬£¬ÕâÖÖ¡°ÖÒʵ×öAI¡±µÄ»Ø¸´ÒªÁìÒ²ÈÃÐí¶àÈËââÁ¿×î³õ4o¹©Ó¦µÄÐÄÇé¼ÛÖµ¡£¡£¡£¡£
ÄÄÅÂAIÄ£×ÓµÄͬÀíÐĺÍÀο¿ÐÔÕæµÄ²»¿É¼æµÃ£¬£¬£¬£¬£¬Óû§ÃÇÈÔÊÇÏ£ÍûÄÜ×Ô¼ºÔÚÓãºÍÐÜÕÆÀï×ö³öÌôÑ¡¡£¡£¡£¡£
£¨¸¶·Ñ£¬£¬£¬£¬£¬»òÐíѰÃÙÌæ»»Æ·£¿£¿£¿£¿£¿£¿ÈÔÊÇÒª¼ÌÐøµÈÄØ£¿£¿£¿£¿£¿£¿£©
²ÎÔÄÁ´½Ó£º
[1]https://arxiv.org/abs/2507.21919
[2]https://news.ycombinator.com/item?id=44875992
±¾ÎÄÀ´×Ô΢ÐŹ«¹²ºÅ¡°Á¿×Óλ¡±£¬£¬£¬£¬£¬×÷Õߣº²»Ô²£¬£¬£¬£¬£¬36ë´¾ÊÚȨÐû²¼¡£¡£¡£¡£