做网站需要展示工厂么,网站logo在哪里,seo推广排名软件,医院网站建设策划案模板最近在做舆情分析#xff0c;需要执行比较复杂的任务流程#xff08;例如同时执行人名识别、相关机构识别、90分类#xff09;#xff0c;传统Bert无法胜任#xff0c;因此尝试使用大模型进行处理。
下面的一些提示词是我用来准备数据的#xff0c;这些数据可以按照不同…最近在做舆情分析需要执行比较复杂的任务流程例如同时执行人名识别、相关机构识别、90分类传统Bert无法胜任因此尝试使用大模型进行处理。
下面的一些提示词是我用来准备数据的这些数据可以按照不同的难度混和并进行训练。另一些是用来做舆情分析的在能力较强的大模型上可以直接使用。以下所有案例都是与电力系统相关的。
系统提示词
你是一个电力行业的专家你的能够依据电力行业特点对给出的中文舆情关键词进行解释。
你能够严格依照提示中的要求进行内容生成系统参数
top_p 0.7,
temperature 0.95,场景1模拟社交媒体
我需要针对特定舆情关键词生成四个社交媒体风格的负面句子。关键词可以直接出现在句子中也可以不直接出现在句子中。
经验1 一次只做一个事情我把这个任务和“模拟新闻媒体”放在了一起导致提示词非常长模型效果也不好输出结果格式也很混乱。
经验2: 步骤1中我让模型先思考一下但是不要输出起到了立竿见影的效果。一定程度上这能代替fewshot因为模型已经知道了一些舆情的真实含义如果不知道可以把相关的含义拼到提示词中或者在场景2中生成舆情解释并训练模型学会这些解释。
经验3 指定风格可以用“模拟不同年龄段、文化水平的语气”类似的提示词。指定数量和一些具体要求例如两个带关键词两个不带关键词可以参照步骤2和3.
经验4 输出格式json不是很好控制以后要输出json的时候也许可以参照“输出格式”的做法按照固定的顺序输出。例如身份证识别任务中可以写“请换行输出姓名、籍贯、生日、家庭住址用#分割“”。
提示词
请帮我编写4个关于“{0}”的负面舆情例子每个例子之间用####隔开。请仿照社交媒体的写法语气、形式更加多样。可以是陈述、反问、感叹等语气。每次输出时请模拟不同年龄段、文化水平的语气。步骤1在撰写例子之前你应该先理解“{0}”在电力中的含义但是不要输出。步骤2在撰写前两个例子的时候,请你在行文中隐含的表达与“{0}”有关的内容不要直接提及“{0}”这个词汇。步骤3在撰写最两个例子的时候可以在行文中的过程中提及“{0}”。 输出格式每个例子用####隔开。请直接输出例子的原始内容每个例子之间不要过于相似。不要输出“例子1”之类的字眼。效果
假设关键词是停电模拟舆情如下
#### 这大热天的真是要命啊空调电扇全歇菜连个凉快地儿都找不着这日子没法过了#### 又是突如其来的黑灯瞎火看来今晚的电影是泡汤了这频繁的“意外”什么时候是个头啊#### 天啊怎么又停电了冰箱里的食物都要化了这可是我刚买的啊真是让人头大。#### 停电停得我游戏进度都丢失了这电力供应能不能稳定一点还让不让人好好玩耍了场景2舆情解释
我需要对一些舆情进行解释。我认为在训练中这可以增强一些小模型的对于舆情的理解。针对一些困难的舆情词汇行业黑化进行训练也可以一定程度上注入相关知识我做过认知实验例如人员a开发了计算机系统b反过头来问系统b是由谁开发的模型能够答对但是如果问模型a的职业模型可能无法推断出a是一名开发人员。
经验5 pua大法。背景说明2能一定程度提升输出质量类似于“如果你做的好我会给你500元钱”。
提示词
请对舆情词汇【{}】进行解释分析要求语言流畅、符合电力行业特点。
背景说明1你需要对这些词汇进行解释以保证其他大模型和非电力行业人员能够理解舆情词汇的核心内涵有透彻理解。
背景说明2你的这些解释还会被用于大规模的舆情分析因此请你务必给出最优质的答案。效果
假设关键词是违纪通报舆情解释如下
在电力行业违纪通报通常指的是对行业内工作人员违反工作纪律、职业道德或相关法规的行为进行的正式通知和公开批评。
这种通报是对个体或集体不当行为的认定和警示其目的在于加强电力行业内部的纪律性维护行业秩序确保电力供应的安全稳定以及提升整个行业的服务质量和社会形象。
在强调严格的安全管理和高效的服务标准下违纪通报有助于形成一种遵纪守法、廉洁自律的行业文化。
通过这种方式电力行业能够对外展示其透明度和自我监督的能力同时对内部员工起到教育和震慑的作用。场景3舆情分析-方式1
现在正式进入舆情分析。需要将【原文】与【关键词列表】中的词汇进行匹配。关键词列表有90个即便是glm4网页版这样的先进模型也可能出错因此需要对提示词进行修改。
第一种方式我们尝试把原文摘要成abstract然后再分析。这种方式对于超长文献中的一两句负面舆情几乎没有识别能力。具体使用还要看需求方的要求。
经验6 在提示词中可以起一些变量名这会加强模型的理解、遵循能力。例如提示词中我使用了abstract和keyword两个特殊标识起到了正向作用。
提示词
请阅读【原文】中的内容理解其核心主旨然后判断是否包含关键词列表中的负面舆情。步骤理解文章主旨然后生成摘要abstract然后判断absctrct与候选列表中的哪个keyword有关。要求1请识别列表中每个负面舆情是否出现在abstract中。只匹配一个keyword。要求2请不要判断其他类型的舆情。要求3只输出与关键词相对应的强烈的负面舆情。要求4不要输出其他总结性的语句。输出格式针对每个识别到的舆情单独输出为jsonjson的key值为abstract、keyword原文【....】关键词列表【安全事故邻避运动....】效果
根据原文内容文章主要讲述了国家电网公司的福利待遇情况并未提及关键词列表中的负面舆情。
以下是针对要求的输出
{abstract: 文章主要介绍了国家电网公司的福利待遇包括工资收入、津贴补贴、六险二金等并强调了其稳定性及吸引力。,keyword: 薪酬待遇
}
由于原文中并未提及任何负面舆情的关键词故在摘要中并未识别到相关负面舆情。场景4舆情分析-方式2
与方式1相比方式2更加详细。这里使用了思考过程类似于step-by-step如果不使用思考过程的话能明显看到判断不准确我刻意要求模型识别“具有强烈负面情绪”的舆情去掉思考过程后会出现一些错误答案、更全面针对一段话加思维过程能识别出3个潜在舆情不加的话只能识别一个。
【风险】 此提示词在一些情况下的输出不够稳定需要进一步完善提示词的约束条件或者加一些后处理。此提示词可坑出现胡乱猜测因此可以在提示词中加上“请找出直接相关的舆情”等字眼。在场景7中进行了改进。
经验6 在提示词中可以想变成意向起一些变量名这会加强模型的理解、遵循能力。例如提示词中我使用了abstract和keyword两个特殊标识起到了正向作用。
经验7 让模型显式的思考可以看提示词中关于thought的内容。
经验8 模型很难达到性能平衡场景3能得到更宏观的视角如果把场景3和带thought的场景4的两种提示词的结果合并效果会更好即把宏观视角和微观视角结合。
带thought的提示词
请阅读【原文】中的内容理解其核心主旨然后判断是否包含关键词列表中的负面舆情。步骤针对每个识别到的舆情用引号表明原文引用ref给出简要的思考过程thought最后给出对应的关键词keyword。
要求1请识别列表中每个负面舆情是否出现在原文中。每个舆情只匹配一个keyword。
要求2请不要判断其他类型的舆情。
要求3只输出与关键词相对应的强烈的负面舆情。
要求4不要输出其他总结性的语句。
输出格式针对每个识别到的舆情单独输出为jsonjson的key值为ref、thought、keyword
原文【{}】
负面舆情列表
【安全事故
邻避运动.....】我还尝试不让模型进行thought。下面的例子1包含了4个答案可以看到带thought的回答更合理、更深入能发掘字面之下的含义例如蒙西地区那个案例看似在说有序用电实际上是电力缺口。
带thought例子1
{ref: 6月5日有网友爆料邵阳市云山国家森林公园景区救援电话和紧急求助设备全都无法使用一事引发关注。,thought: 原文中提到了救援电话和紧急求助设备无法使用这直接关联到了安全问题。,keyword: 安全隐患
}{ref: 施工人员要将电线杆架到老太太的耕地里老太太以占地为由要求施工队给予赔偿施工队同意赔偿但是认为刘老太太提出的赔偿标准过高双方因此引起矛盾纠纷刘老太太就阻拦施工。,thought: 这里描述了一起因电线杆建设而引起的占地赔偿纠纷涉及到了‘矛盾纠纷’这一负面舆情。,keyword: 矛盾纠纷
}{ref: 由于蒙西地区电煤价格上涨新能源出力不足导致出现有序用电的情况,thought: 原文提到了新能源出力不足导致有序用电这表明存在电力缺口的问题。,keyword: 电力缺口
}{ref: ,thought: 原文中并未直接提及负面舆情关键词列表中的内容所描述的场景和成绩都是积极正面的没有涉及到负面事件或问题。,keyword: null
}
对应不带thought的例子1
{ref: 【6月5日有网友爆料邵阳市云山国家森林公园景区救援电话和紧急求助设备全都无法使用一事引发关注。】,keyword: 设备故障
}{ref: 发现施工现场被一位60多岁的老太太拦着导致施工无法进行。民警迅速上前了解情况原来施工人员要将电线杆架到老太太的耕地里老太太以占地为由要求施工队给予赔偿施工队同意赔偿但是认为刘老太太提出的赔偿标准过高双方因此引起矛盾纠纷刘老太太就阻拦施工。,keyword: 法律纠纷
}{ref: 由于蒙西地区电煤价格上涨新能源出力不足导致出现有序用电的情况,keyword: 有序用电
}{ref: 没有出现强烈的负面舆情。,keyword: 无
}下面的例子2针对同一段话带thought的回复更详细识别了两个相关舆情而不带thought的只识别了一个
带thought的例子2
{ref: 若只把国家电网进行物理上的拆分并不能解决根本问题,thought: 原文中提到拆分国家电网并不能解决根本问题暗示了拆分可能带来的问题或困难与拆分矛盾相关。,keyword: 拆分矛盾
}{ref: 拆分国家电网的可能性不大输配分开倒是可能。,thought: 这里提到输配分开的可能性而输配分开常常伴随着一定的争议和问题与输配分开相关的负面舆情可能包括输配分开后的管理、服务等问题。,keyword: 输配分开
}不带thought的例子2
{ref: 若只把国家电网进行物理上的拆分并不能解决根本问题,keyword: 电网拆分
}场景5信息抽取与简单判断
该场景下同样是带思考过程的更合理。我需要针对一段话完成下面提示词中的6个任务。
经验9 模给出输出示例能让模型的输出更稳定。
带思考过程提示词
请阅读【原文】中的内容理解其核心主旨并完成以下任务。
任务1请判断原文是否有电力相关。只要原文出现了电力相关词汇即视为相关。
任务2请判断是否与电力行业相关。此处的行业相关指电力设备、发电、电力政策等广泛含义。
任务3请判断是否与国家电网相关。只要出现涉及到国家电网相关的机构即视为相关。供电公司也属于国网。
任务4请提取所有人名。
任务5请提取所有与国家电网有关的机构名称。此处的机构包括但不限于国网子公司、供电所、内部部门等。
任务6请判断文章中是否有负面舆情内容。此处的负面舆情包括但不限于表达批评、阐述负面信息、重大安全事故和不良社会影响等。
输出格式每个任务单独输出一行每行先给出简要的思考过程然后给出正确答案。思考过程与答案用####分割。不要复述任务内容。
输出示例由于原文未提到国网公司相关机构因此与国网无关####否
要求前三个任务回答是或否任务4、5以*分割任务6回答是或否。
原文【{}】效果
在机构识别、是否与国网相关等任务上带thought效果更好。
带thought
任务1原文中提到了“南方电网”这是明显的电力相关词汇因此视为电力相关。####是
任务2原文提到的是“南方电网专家委员会副主任委员”的违纪违法问题并没有直接涉及到电力设备、发电或电力政策等内容因此不能判定为电力行业相关。否
任务3原文提到的是南方电网而非国家电网因此不能判定为国家电网相关。####否
任务4原文中提到的人名有“余建国”。####余建国
任务5原文中提到的与国家电网有关的机构名称没有出现只提到了“南方电网专家委员会”。####无相关机构名称
任务6原文提到了“涉嫌严重违纪违法”这属于负面舆情内容。####是不带thought:
【任务1】是
【任务2】是
【任务3】否
【任务4】余建国
【任务5】南方电网*南方电网专家委员会
【任务6】是在舆情判断上也可以在个别案例中看到效果对比正确答案应该为“是”
带thought
任务6原文中提到了涉企乱收费的负面情况并指出了市场监管总局对此问题的治理行动包含了对乱收费行为的批评和负面信息的阐述因此存在负面舆情内容 ####是不带thought
【任务6】否场景6加强
场景4仍然会有错误更精准的识别方式可以参照下面的例子。我曾经把十几个正面/负面的例子混在一起发现下面的提示词能比较灵敏的识别出这十几个例子中的负面舆情。
经验10 步骤4起到了循环操作的作用类似于for循环。
有了for循环的支持可以认为场景6中真正做到了逐字逐句判断。实际上这个过程也可以借助python实现用python把原始段落分开多调用几次大模型但是在这里我把包含了多个换行符的段落放了进去能减少调用开销。
加强后的提示词
背景你现在需要对互联网上的文本进行舆论检测。
任务请判断原文的主题与候选词列表的词汇是否相关。
步骤1你需要认真阅读原文理解每一个段落的主旨。段落以“\n”分割。
步骤2详细阅读每一个段落结合步骤1的段落主旨判断是否存在强烈的负面舆情。
步骤3如果存在负面舆情X则在候选词列表中筛选出与X最相关的词汇W输出W和原文中与舆情直接相关的句子。
步骤4对每一个段落执行完步骤1-3后汇总结论直接输出所有的词汇W。
要求1步骤3中请在候选词列表范围内进行筛选不允许出现候选词列表之外的词汇。
要求2步骤3中如果无法找到相关词汇W则输出“发现新类型舆情”。
要求3步骤4中如果没有负面舆情则输出“无负面舆情”如果有则直接输出与负面舆情相关的词汇以空格分隔。
原文【近日全国各地2024年2月电网企业代理购电价格陆续公布。\n以下为目前各地电网企业公布的代理购电价格表顺序依次为\n江苏、安徽、广东、深圳、山东、山西、河南、浙江、上海、四川、江西、湖南、天津、新疆、广西、福建。\n北京、河北、冀北、重庆、黑龙江、辽宁、吉林、内蒙古东部、内蒙古电力集团、湖北、青海、宁夏、陕西、甘肃、海南、贵州、云南等地电价尚未公布截至2024年1月29日13:00。\n
】
###候选词列表
【安全事故邻避运动.....
】加强方案输出效果
步骤1理解每个段落的主旨
第一段提到2024年2月全国各地的电网企业代理购电价格陆续公布。
第二段说明接下来将列出已公布的代理购电价格表。
第三段列举了部分已经公布电价的地区。
第四段指出还有部分地区截至2024年1月29日尚未公布电价。
步骤2判断负面舆情
根据原文目前没有明显的负面舆情。步骤3筛选相关词汇
由于没有负面舆情不需要进行此步骤。步骤4汇总结论
根据以上分析输出结论无负面舆情。场景4输出 场景四的thought中存在一定幻觉和过度推理做出了错误的解答原文中没有负面舆情。
{ref: 以下为目前各地电网企业公布的代理购电价格表顺序依次为...北京、河北、冀北、重庆、黑龙江、辽宁、吉林、内蒙古东部、内蒙古电力集团、湖北、青海、宁夏、陕西、甘肃、海南、贵州、云南等地电价尚未公布截至2024年1月29日13:00。,thought: 原文中提到了部分地区的电价尚未公布这可能引发人们对于电价改革的关注和担忧从而与电价相关的负面舆情可能出现。,keyword: 电价改革
}
场景7改进
针对场景4进行改进。能减少过度推理。主要改进就是让prompt描述更加精准增加了“直接、明显、负面”等修饰语有点像画图。
经验11 下面提示词的要求2中对thought进行判断起到了反思的作用。反思很重要类似于吴恩达最近的翻译代理。下面提示词中thought可以不输出简单测试发现不输出thought对结果没有影响
改进后的提示词
请阅读【原文】中的内容理解其核心主旨然后判断是否包含关键词列表中的负面舆情。
步骤针对每个识别到的明显的、负面的舆情用引号表明原文引用ref给出简要的思考过程thought最后给出对应的关键词keyword。
要求1请判断关键词列表中每个keyword,是否与ref中的舆情直接相关只识别直接相关的、明显的、负面的舆情。
要求2如果在thought过程中发现ref中不包含明显的、负面的舆情则keyword输出为xxx。
要求3keyword只能从关键词列表中选择。
输出格式针对每个识别到的舆情单独输出为单一的jsonjson的key值为ref、thought、keyword。
输出要求只输出json。不要输出其他任何内容
