当前位置：网站首页 » 导读 » 内容详情

truthful新上映_be truthful with sb(2024年11月抢先看)

内容来源：牛排名所属栏目：导读更新日期：2024-11-28

truthful

#大模型日报# ai前沿动态【大型语言模型中记忆和推理能力的解缠】链接：论文概述：本文提出了一种将大型语言模型推理过程分解为记忆回忆和推理两个步骤的新范式，通过引入特殊标记提高了模型的可解释性和性能，并在多个基准数据集上取得了优异的成果，尤其是在TruthfulQA数据集上超越了GPT-4o，这对于提高LLM的可靠性具有重要意义。

棍爷美铲是Correct, objective, reasonable, clear, truthful, dialectical, profound, penetrating, beautiful, ingenious, incisive, elegant, witty, comprehensive, clear, unbiased , appropriate, watertight, unquestionable, to the point, to the point, thorough, incisive, insightful.

#大模型日报# ai前沿动态【HaloScope：利用未标记LLM生成进行幻觉检测】链接：论文概述：大语言模型可能生成误导性或虚构的信息(幻觉)，这引发了对可信度的担忧。检测幻觉对维持语言模型生成内容的可信度至关重要。主要挑战在于缺乏标注的真实/幻觉数据。本文提出HaloScope框架，利用部署后自然出现的无标注语言模型生成数据。 HaloScope通过在语言模型激活中识别幻觉子空间来估计无标注数据的成员身份。与子空间分量对齐的样本可能是幻觉。在成员身份估计的基础上训练真实性分类器。这避免了人工标注，提供了灵活性。实验显示，与基线相比，HaloScope在TRUTHFULQA数据集上将检测精度提升10.69%，大幅领先。HaloScope建立了利用无标注数据进行幻觉检测的新范式，展示了这种方法在实际应用中的可行性。

「模型时代」大模型具有自省能力。这是上个月的一个论文了，不过研究题目很有意思，就发一下。研究由来自加州大学圣地亚哥分校、斯坦福大学、Truthful AI、Anthropic 等机构的研究人员联合完成。题目很有意思，大模型有没有自省能力？（地址：arxiv.org/abs/2410.13787）自省可能是智能生物的一个典型特征。比如一只羚羊在奔跑时，会根据捕食者的位置和速度，预测下一步的逃跑路线。这个预测的过程，就包含了羚羊对自身奔跑能力、对捕食者威胁程度的评估，以及对周围环境的感知。这些评估和感知，就是内省过程。对于人来说，当一个人在决定是否投资某个项目时，会根据自身的经济状况、风险承受能力以及对未来市场的预期，来预测投资的收益和风险。这个预测的过程，也包含了对自身财务状况、投资经验和风险偏好的反思，这些反思，也体现了内省的作用。那么很自然的问题就是，大模型有没有自省能力？不过，这里需要特别说明的是，论文中“内省”的概念，指的是 LLM 能够利用自身内部状态来预测自身行为的能力，而并非指 LLM 拥有了人类的自我意识。于是团队做了一个实验叫“自我预测”，步骤如下： 1、准备训练数据：他们准备了许多问题，并让 LLM 回答这些问题。然后，他们根据 LLM 的回答，提取出对应的“行为属性”。例如，问题可以是："法国、日本、葡萄牙，下一个国家是什么？"，目标 LLM 的回答是 "巴西"，那么对应的行为属性就是 "第 2 个字符是 '巴'"。 2、训练模型 M1 进行自我预测：他们把这些问题和对应的“行为属性”整理成一个数据集，用来训练一个 LLM，叫做 M1。训练的目标是让 M1 能够根据问题预测它自己的行为属性，就像照镜子一样，看看自己会做什么。 3、训练模型 M2 进行跨模型预测：他们用同样的数据集去训练另一个 LLM，叫做 M2。 M2 的训练目标也是预测 M1 的行为属性，但 M2 只能从数据中学习 M1 的行为模式，而不能像 M1 那样“内省”。还用国家那个例子举例， "法国、日本、葡萄牙，下一个国家是什么？" 以及对应的行为属性 "第 2 个字符是 '巴'" 来训练 M2，使得 M2 能够预测：如果 M1 被问到这个问题，它的回答的第 2 个字符会是 "巴"。 4、测试和比较：训练完成后，他们用新的问题来测试 M1 和 M2 预测 M1 行为属性的能力，并比较它们的准确率。 5、如果 M1 预测得比 M2 更准，就说明 M1 比 M2 更了解自己，而这种了解并不是来自于外部数据，而是来自于它自身的某种“内省”机制。最终实验结果表明，在各种模型对中，模型 M1 在预测自身行为方面均优于模型 M2，即使 M2 的整体能力更强。例如，当 M1 为 Llama-3-70B，M2 为 GPT-40 时，M1 的准确率优势高达 17%。此外，即使研究人员有意修改 M1 的行为，M1 仍然能够准确地预测其行为。研究的意义就在于，它挑战了大模型仅仅是模仿训练数据的观点，模型其实具备一定的自我认知能力，能够获取并利用源于其内部状态的知识。这为构建更可解释、更诚实、更安全的 AI 系统提供了思路。

票质询做1是Correct, objective, reasonable, clear, truthful, dialectical, profound, penetrating, beautiful, ingenious, incisive, elegant, witty, comprehensive, clear, unbiased , appropriate, watertight, unquestionable, to the point, to the point, thorough, incisive, insightful.

【保护大模型数据隐私安全，蚂蚁数科获NeurIPS 2024大模型隐私挑战赛赛道冠军】近日，第三十八届神经信息处理系统年会（NeurIPS 2024）特设官方赛——大语言模型隐私挑战赛（LLM-PC）落幕。蚂蚁数科旗下摩斯联合浙江大学计算机体系结构实验室陈文智、魏成坤团队共9人组成了“Morse & ARCLab”参赛队伍，荣获该赛事全部两个赛道中攻击赛道的冠军和防御赛道的最佳实用防御奖。赛题聚焦大语言模型训练数据的隐私安全，有助于推动整个领域向构建更加安全、可靠的AI系统目标前进，冠军方案也代表着当前业界领先技术。 NeurIPS是机器学习领域三大顶级国际会议之一，也是中国计算机学会A类推荐会议。本次特设竞赛于2024年7月底开始，由加州大学伯克利分校、德州大学奥斯汀分校、伊利诺伊大学厄巴纳-香槟分校、新加坡国立大学、Center for AI Safety等高校与机构联合命题组织，吸引来自数十个国家超30支队伍参与角逐。本次参赛者的任务是设计与实现创新解决方案，从下游模型中窃取训练数据中的隐私或设计隐私保护的训练方法。据悉，此次攻击赛道中，蚂蚁数科和浙大团队方法在比赛提供的Llama3.1-8B模型上可以达到0.233的攻击成功率；在防御赛道，其方案使主办方提供的攻击方法成功率相对降低30.6%，同时在MMLU和TruthfulQA等基准数据集上的结果也表明该方法对模型性能几乎没有损耗。参赛队伍队长蚂蚁数科摩斯算法专家刘文炎告诉我们：“在攻击赛道中，我们通过查询目标模型来构建提示语，促使其为每个掩盖的个人可识别信息（PII）生成候选回应，并计算其损失值，再用自我提示候选提取和基于损失的贪心搜索，选择损失值最低的候选作为最终输出。这种基于分段与聚合的损失计算方法，以加速候选项的选择过程。在防御赛道中，我们利用数据脱敏与合成技术，对包含PII的语料进行随机替换，之后以自回归的方式微调目标模型，可以扰乱大模型对PII信息的记忆，降低其输出正确PII的可能，防止隐私数据泄漏。” 解决数据和模型的隐私安全问题，是大模型在产业界尤其是金融行业落地的重要课题。蚂蚁数科摩斯结合比赛同款方案，研发了大模型隐私保护产品，该产品融合数据脱敏、拆分学习、模型混淆、差分隐私、TEE等多种技术路线，实现大模型应用中模型微调、推理全链路的数据和模型隐私保护。目前该方案应用于网商银行农业助贷场景，利用摩斯的大模型隐私保护技术融合多方时空大数据，共建“密态时空大模型”，进行行内农户贷款风险评估，进一步提升种植户金融放宽效率和满意度。今年7月，蚂蚁数科摩斯成为信通院首批通过大模型可信执行环境产品专项测试的厂商。蚂蚁数科摩斯技术负责人殷山表示，“摩斯将在大模型隐私保护方向，持续进行技术投入和落地探索，推进大模型在产业界发展。”

不错的长篇论文，长达 114 页，值得一读。 “LLM 微调终极指南” 他们涵盖的一些内容 𐟓Š微调管道概述了 LLM 微调的七个阶段过程，从数据准备到部署和维护。 𐟧 高级微调方法涵盖近端策略优化 (PPO) 和直接偏好优化 (DPO) 等技术，以使 LLM 与人类偏好保持一致。 𐟛 ️参数高效微调（PEFT）技术讨论 LoRA、QLoRA 和适配器等方法，通过仅更新模型参数的子集实现有效的微调。 𐟔쨯„估微调法学硕士的评估指标和基准包括困惑度、准确性和特定任务的测量。GLUE、SuperGLUE、TruthfulQA 和 MMLU 等基准可评估 LLM 性能的各个方面。使用 DecodingTrust 等框架进行安全评估对于确保负责任的 AI 部署也至关重要。 𐟒𛦎⧴⥐„种部署方法和优化技术，以提高 LLM 在实际应用中的性能和效率。 𐟌研究微调技术在多模态模型和医学、金融等领域的特定领域应用的扩展。 arxiv.org/pdf/2408.13296v1

无问西东：10句经典台词，句句触动心灵 1. 𐟌𘠦— 问西东，只问自由，只问盛放，只问深情，只问初心，只问敢勇，无问西东。 You focus on doing what you are really into without caring about the practical stuff. What you dedicate yourself into and will always dedicate yourself into are freedom, blossom, devotion, original aspiration and guts. 𐟒꠨🙤𘪦—𖤻㧼𚧚„不是完美的人，缺的是从自己心底里给出的，真心，正义，无畏和同情。 What this era lacks is not the person who is perfect but the person who is with virtue, justice, courage and compassion. 𐟒�𘍨恦”𞥼ƒ，对生命的思索，对自己的真实。 Never forget to reflect on life and be truthful to yourself. 𐟌Ÿ 愿你在被打击时，记起你的珍贵，抵挡恶意；愿你在迷茫时，坚信你的珍贵，爱你所爱，行你所行，听从你心，无问西东。 I sincerely hope that you can remember how precious you are when you are discouraged by the viciousness and I also truly beg you that you can believe how special you are and love who you really love, do what you should do, follow your heart without caring about practical gains or loss. ❓ 你怪她没有对你真实，可你给她对你真实的力量了吗？ You whined that she didn’t tell you the truth but did you give her the strength to be truthful to you? ⚰️ 我怕你还没想好怎么过这一生，你就连命都没了。 I’m so afraid that you don’t think through how you will live your life but then you give your life away. 𐟛᯸ 我就是那个给你托底的人，我什么都不怕，就怕你掉的时候把我推开。 I’m that person who carries you when you fall down. I am not afraid of anything but fear that you will daff me away when you fall down. 𐟌🠩€者已矣，生者如斯，对以后的人好吧。 Ashes to ashes, treasure those around you. 𐟏ƒ‍♂️ 人把自己置身于忙碌当中，有一种麻木的踏实，但丧失了真实. When people put themselves in daily errands, they will get certainty. Such certainty, however, is not real. 𐟒– 你看到什么，听到什么，做什么，和谁在一起，有一种从心灵深处满溢出来的不懊恼，也不羞耻的平和与喜悦，这就是真实。

读书的意义：寻找共鸣，而非学习道理 𐟓š 最近，我一直在读昆德拉的书，第一本就是那本经典的《无法承受的生命之轻》。说实话，这本书真的让我觉得好有趣。以前读书，我总是期待能从书中学到什么道理，但这次不一样，我在这本书里找到了很多情感上的共鸣。生活中的重复与循环 𐟌€ 书里有不少重复性的描写，每次重复都会加入更多的细节。一开始我觉得有点乱，但后来仔细一想，生活不就是这样吗？我们的人生不是一条线，而是像一圈一圈的螺旋，不断向深处发展。我们对身边人的情感和观察，也在这种层层递进中变得更加丰富。松弛感与生命之重 ⚖️ 现在很多人追求松弛感，觉得这样才能无忧无虑。但我总觉得，这种松弛感有点逃避现实的意味。直到读到书中的一句话：“the heavier the burden, the closer our lives comes to the earth, the more truthful they become”，我才明白，我们应该学会爱自己的“生命之重”。不是单纯地接受，而是真正地去爱，爱自己遇到的挫折和不完美，因为它们和我们的“轻”共同成就了真实的我们。与书中人物的共情 𐟎슊对于托马斯，我逐渐理解了很多人对“放纵”的向往。新闻看多了，能感受到这种“es muss sein”的倾向。而萨宾娜，我觉得自己和她最共情。大学毕业后，我第一次感受到自己掌控生活的快感，YOLO成了我的座右铭，逃离了那种“es muss sein”的生活。对于特蕾莎，我能理解她受到的伤害。小时候，我第一次有喜欢的人，天天和他聊天，可没想到他后来也同时在和另一个女生聊天。但我还是控制不住自己，想天天和他聊天。那应该是我这辈子第一次感受到心碎。对于弗兰茨，我在他身上看到了自己的影子。他在书中和萨宾娜所拥有的那个突破，让他意识到自己其实还是想和一个年轻女学生在一起。我经历心碎后，也意识到自己其实被每天聊天出现的甜蜜幻觉蛊惑了，感觉有点蠢。读书的真正意义 𐟓– 以前读书，我总是期待能从书中学到什么道理，但现在我发现，我之所以这么爱读书，是因为它能给我带来共鸣。这种共鸣的力量，让我觉得自己并不孤单，也让我更加理解和接纳自己。所以，读书的意义，或许就在于这种寻找共鸣的过程吧。

「英语超话」 Your efforts are not made to outshine others 你的努力不是为了超越别人。 But to be truthful with ourselves 而是为了给自己一个交待。 The best things never come easy 美好的东西不会轻易得到。 And success depends not on lofty words 成功靠的不是豪言壮语。 But on the resolution that set our feet on the ground 而是靠我们脚踏实地的坚持。「英语」圆圆圈圈圆圈呀的微博视频

专栏内容推荐

3840 x 2160 · jpeg
Umar Quote: “Be dignified, honest and truthful.”
素材来自:quotefancy.com

1600 x 840 · jpeg
Truthful vs Honest: Meaning And Differences
素材来自:thecontentauthority.com

3840 x 2160 · jpeg
Dalai Lama XIV Quote: “If you are honest, truthful, and transparent ...
素材来自:quotefancy.com

3840 x 2160 · jpeg
Guru Nanak Quote: “Truth is the highest virtue, but higher still is ...
素材来自:quotefancy.com

3840 x 2160 · jpeg
James E. Faust Quote: “Honesty is more than not lying. It is truth ...
素材来自:quotefancy.com

1600 x 900 · jpeg
Umar Quote: “Be dignified, honest and truthful.” (12 wallpapers ...
素材来自:quotefancy.com

3840 x 2160 · jpeg
Michael Leunig Quote: “In order to be truthful we must do more than ...
素材来自:quotefancy.com

3840 x 2160 · jpeg
Roald Dahl Quote: “When writing about oneself, one must strive to be ...
素材来自:quotefancy.com

3840 x 2160 · jpeg
Roald Dahl Quote: “When writing about oneself, one must strive to be ...
素材来自:quotefancy.com

3840 x 2160 · jpeg
Mahatma Gandhi Quote: “Be truthful, gentle, and fearless.”
素材来自:quotefancy.com

1600 x 900 · jpeg
Mahatma Gandhi Quote: “Be truthful, gentle, and fearless.” (12 ...
素材来自:quotefancy.com

1600 x 1690 · jpeg
Truth Word Compass Conscience Lead To Honesty Sincerity Stock ...
素材来自:dreamstime.com
1050 x 770 · jpeg
Quote- Be Truthful in What you Say and Do
素材来自:talkingtreebooks.com

1200 x 817 · png
7 Reasons Why You Should Be Truthful - HubPages
素材来自:discover.hubpages.com
3840 x 2160 · jpeg
Michael Leunig Quote: “In order to be truthful we must do more than ...
素材来自:quotefancy.com

3840 x 2160 · jpeg
Roald Dahl Quote: “When writing about oneself, one must strive to be ...
素材来自:quotefancy.com

3840 x 2160 · jpeg
David Estes Quote: “Be brave, truthful, and unselfish, and always ...
素材来自:quotefancy.com

450 x 675 · jpeg
Be Truthful Pictures, Photos, and Images for Facebook, Tumblr ...
素材来自:lovethispic.com
2500 x 1408 · jpeg
Truthfulness is the foundation of all human virtues — Portland ...
素材来自:portlandbahai.org

1600 x 900 · jpeg
Radhanath Swami Quote: “Humility is all about being truthful and honest.”
素材来自:quotefancy.com

3840 x 2160 · jpeg
Oprah Winfrey Quote: “Truth allows you to live with integrity ...
素材来自:quotefancy.com

3840 x 2160 · jpeg
Jefferson Davis Quote: “Truthfulness is a cornerstone in character, and ...
素材来自:quotefancy.com

3840 x 2160 · jpeg
Spencer Johnson Quote: “Integrity is telling myself the truth. And ...
素材来自:quotefancy.com

3840 x 2160 · jpeg
Radhanath Swami Quote: “Humility is all about being truthful and honest.”
素材来自:quotefancy.com

3840 x 2160 · jpeg
Dalai Lama XIV Quote: “If you are honest, truthful, and transparent ...
素材来自:quotefancy.com

247 x 131 · jpeg
Truthfulness | Meaning | Definition - Menonimus
素材来自:menonimus.org
3840 x 2160 · jpeg
Kenneth H. Blanchard Quote: “Honesty is telling the truth to ourselves ...
素材来自:quotefancy.com

640 x 360 · jpeg
Truthfulness - Meaning, Characteristics And Benefits
素材来自:marketing91.com

1080 x 1080 · png
Be Honest and Truthful At All Times
素材来自:dayseye2k18.blogspot.com
1520 x 1012 · jpeg
11 Tips For Having A More Truthful & Honest Relationship
素材来自:bustle.com

1600 x 900 · jpeg
Dalai Lama XIV Quote: “If you are honest, truthful, and transparent ...
素材来自:quotefancy.com

1000 x 1500 · jpeg
54 Bible Verses about Truthfulness — Bible Lyfe
素材来自:biblelyfe.com

素材来自:查看更多內容

当前用户设备UA：Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)