离谱! CRA花$1800万造聊天机器人, 66%答案竟然是错的! 加拿大人气炸了

据温哥华港湾综合报道:加拿大税务局(CRA)为一个聊天机器人支付了1800万加元,而审计总长称,该机器人给出的答案有66%是错误的。

2020年2月,当时的国家税务部长黛安·勒布蒂利耶(Diane Lebouthillier)自豪地宣布了这一新工具,她承诺该工具将帮助纳税人更好地应对加拿大复杂庞大的税法体系:Charlie聊天机器人。

clsk8

CRA警告称,该聊天机器人可以帮助回答一般税务申报问题,但仍在“学习CRA相关知识”。

五年过去了,审计总长凯伦·霍根(Karen Hogan)指出,仍出现在CRA 13个网页上的Charlie聊天机器人还有很长的学习路要走。

2fqvj

so9u1

霍根在10月发布的针对CRA呼叫中心的严厉报告中写道:“Charlie的回答往往简短,提供的背景信息有限,额外信息也很少。”

“我们发现,Charlie在我们提出的6个问题中只回答正确了2个,而其他公开的基于网页的对话型人工智能工具则能正确回答5个问题。”

这一发现让自由党议员安东尼·豪斯法瑟(Anthony Housefather)震惊,他当时向霍根质问:“政府专门为CRA设计的工具怎么会比任何人都能随处访问的普通工具还差?”

虽然Charlie聊天机器人初期的评测显示工具表现一般,但开发和维护成本却相当高。

本周提交给议会的新文件显示,自2018-2019财年以来,纳税人为开发和运营Charlie聊天机器人支付了超过1800万元,其中大部分支出始于其在2021-2022年的大规模上线。

CRA表示,这些成本中大部分是薪资(1367万加元),但不包括员工福利和必要的差旅费用。另有321万加元用于项目的IT顾问费用。

保守党国家财政评论员杰拉德·德尔泰尔(Gérard Deltell)表示:“显然,这是一大笔纳税人的钱。我们必须承认,只有33%的准确率,完全不令人满意。”

在近六年的运行中,人们与Charlie发起了超过700万次“对话”,提出了超过1800万个问题。CRA称,该聊天机器人在提供持续准确的信息方面表现不佳。

CRA表示,该工具曾有一段时间测得的“准确率阈值”为70%,意味着它对CRA测试者的回答有30%是错误的。

t6u0b

今年11月,该机构将Charlie升级为生成式AI聊天机器人(更接近ChatGPT),可以回答更多问题。CRA称,AI Charlie的预发布测试显示准确率约为90%。

但CRA补充称:“如果不对所有互动记录进行全面审查,生成式人工智能聊天机器人正确回答的问题数量无法精确确定。”

税务局提供给议会的数据还显示,用户向Charlie提出的问题范围非常广泛。

今年,在4月30日申报截止日期前几个月,Charlie接到了数十万关于个人税务的问题。2月至4月间,它还被问及超过43万个关于CRA“电子服务”的问题。

Charlie今年还接到数千次关于企业所得税、福利和抵免、更新个人信息、税务余额、支付及如何联系税务局的问题。

2024年,Charlie接到近18万次被归类为“闲聊”的互动。

周四,CRA发布了财政部长商鹏飞要求的“100天服务改进计划”结果。

CRA表示,由于重新雇佣或延长1200多名呼叫中心员工的合同,以及改进包括Charlie在内的部分数字服务,该机构在秋季将响应速度提高了一倍。

新闻稿中写道:“生成式AI聊天机器人测试版现在可以回答更多类型的问题,包括针对企业的更复杂问题,如税收抵免和合规信息。”

CRA发言人在截止日期前未回答有关聊天机器人成本的问题,而开发AI工具的成本近年来因大型语言模型工具(如ChatGPT)的普及而越来越低。

rwe1k

《国家邮报》要求Charlie解释为何创建和维护其成本高达1800万元,但聊天机器人回避了回答。

它的回应是:“提供的内容未包含有关CRA生成式AI聊天机器人测试版或其他系统创建和维护的1800万元具体信息。”同时建议联系CRA了解详情。

该新闻引起网友热议。

“加拿大的税法超过3000页,没有人能完全理解它。但也别对Charlie聊天机器人太生气——它的正确率大致和你等待2到3小时才能与真正的CRA员工通话时得到的答案差不多。

这实际上说明了我们的税法有多么迫切需要简化和精简。但只要有公务员的就业受到威胁,这种改革几乎不可能实现。”

049x8

还有读者直接讽刺道:“Charlie聊天机器人和他的‘兄弟’ArriveCan应用程序,都是联邦公务员的“智慧、能力与性价比”的产物。”

3gkek

“另一方面,美国计划彻底废除个人所得税……加拿大真是一个彻底失败的国家。”

ceabd

“在我看来,我们或许应该使用Charlie,因为CRA员工的正确回答率只有17%,而Charlie的正确率似乎达到了33%。这比那里的人工服务要好一些。”

jjigk

“天哪,再加上求助电话未接或被挂断的比例远高于行业平均水平,人工提供的信息也不总是准确,甚至有钱被发给已故人士……然而,当税务局寄来错误通知时,你几乎没有任何机会去申诉。”

4gkqp

你怎么看?

来源:温哥华港湾综合

免责声明:转载此文章的目的旨在传播更多信息以服务于社会,版权归原作者所有,我们已在文章结尾注明出处,如有标注错误或其他问题请发邮件itop366.com@gmail.com,谢谢!