解析CIAS|领悦南京分公司王铎：软件工程开发新范式-大模型辅助开发实践
发布时间：2024-11-25阅读次数：212
我们是宝马内部的公司不对外，主要和大家汇报和分享在整个大模型辅助开发上的实践和当前的成果。我做了六七年整个宝马内部的人工智能大数据，图像的质检，异常检测，设备维护等等。开场张院士提到的事情，我总结两点。
第一，现在整个新能源汽车市场的竞争很大，今年某车企的高管来上海车展参观之后，回去把整个软件公司的高管全部开掉，这是效率问题。
第二，数字化的成本很高，很多企业的高管一直抱怨数字化程度很高，包括很多的解决方案，不管是基础架构、PaaS、SaaS的成本很高，宝马全球大概开发者一两万人，如何通过AI提高我们这些人的开发效率，让我们的产品快速到市场迭代，其实是我们一直讨论的问题，也是整个全球的战略，通过AI辅助开发实践。
今天给大家分享三个部分。
一是行业的发展，为什么要讨论这个问题？二是在我们公司大概是500人，在整个过去大半年实践的一些成果，包括开发技术领域的实际成果到底是怎么样的，最后是关于整个行业的展望。
01
大模型的发展
大模型行业发展第一，2023年关于AI的技术成熟度曲线，最左边有很多的技术萌芽期大量的产品往外迸发，现在产品特别多，我们到底该投什么样的产品？往往通过创新驱动，它的成熟度不一定很高。第二，期望膨胀期。生成式AI和AI增强，软件工程，其实已经达到了顶点。看下面的技术成熟度，在这个阶段，很多企业开始进行尝试。有成功的，也有很多尝试失败的，还有后面的阶段，泡沫期，更愿意称之为技术沉淀期，通过一定的沉淀，包括逐步的提升，最后达到生产力。关于AI增强软件工程的成熟期是2-5年，在年初的时候，当时gartner出了一个数据，10%的开发者采用增强式AI辅助开发，2024年最新出的报告已经把数据提高到了75%，去使用大模型辅助AI，市场的预期是持续提升的周期。
大模型工具 Github Copilot 的行业影响
gartner的报告，89个人分成两组做同样的开发工作，使用大模型开发的大概是完整率提高了10%，基于我们的实践是差不多的。第二个数据非常大，开发效率提升了50%，当时整个董事会都认为数据太夸张了。这个数据不能说它错，在一些特定场景下确实可以达到50%，但是并不能代表整个行业。到底能帮助我们多少？是因为企业因人而异，到底开发场景特别复杂还是特别简单，之前有的人说通过一些代码可以生成一些网站，一个小时就完事了，有些人说对我们帮助不是很大。一定要亲自去尝试，甚至包括不同的开发者，特别成熟的开发者，有的时候在一定场景上帮助不是很大，但是对于新毕业或者工作两三年的帮助很大，最后企业要通过不断的实践寻找到合适的场景，帮助到开发者，这也是今天说的背景。
02
大模型在CIH的实践
DevOps试点团队实践情况
整个软件工程的大模型可以赋能各个领域，最开始的设计到开发测试整个周期，设计AIGC不管图片生成，视频的生成包括设计行业的颠覆看过很多，今天重点会分享传统的开发，数据开发以及测试开发各个领域的提升。
这里面的数据可以作为参考，接下来和大家分享比较细节的。
我们对于整个JAVA测试的结果，并没有非常通用地说大概10%或者20%的提升，实际做了任务的拆解，比如开发的难度有比较简单的场景，实现加密算法的开发，可能是有比较好的完成度，中等包括复杂的业务场景，面向客户的业务逻辑非常复杂，生成代码帮助不是很大，开发者抱怨花更多的时间进行调教，反而浪费时间，还多了一个场景，无prompt完成度，和有prompt的完成度。完成度可能30%-50%，这就是简单的业务场景，实际通过不断对人员的培训包括开发模板的设定，它的完成度可以大幅度提升，提供工具给开发人员的时候，并不是简单给一个工具，实际还有更多的配套使用，当前用的比较好的，一是代码生成，包括API文档开发，大量的API文档完成度比较高，单元测试和代码生成比较类似。代码注释完成度也是比较高，这是我们比较推荐的场景。
接下来在数据领域也做过很多尝试，我们这种企业比较复杂，有这种流式、实时包括数据迁移，整个数据全部上云，整个数据湖的转变，包括应用的迁移，实际它的工作比较繁杂。包括机器学习也逐步尝试，效果不一定特别好，而且数据领域还有一点，对整个问答的提示词的要求比正常JAVA开发还要高，要给非常详细的任务要求，才能帮你进行拆分，不然的话，得到的结果也是比较差一些。但是总体来说，对于简单的包括对于终端用户的提升是比较高的。
接下来关于测试领域，也是目前比较看好的领域，尤其是对比较重复性的测试数据准备或者测试脚本，对我们帮助也比较大。回到另外一点提到的，大模型如何给自己企业的办公软件或者工具进行集成，单纯看的话，它的提高率是比较高的，但是实际业务工作当中不可能是一次一次手工粘贴完成，用户也是比较抱怨。如何用各种的工具进行集成，批量生成我们的结果，自动化生成，还需要后续继续努力。
安全合规的本地LLM工具实践
这是我们在整个大半年当中的实践，宝马对整个合规是有一定的要求，大模型都是布在本地的数据中心，前期都是用的开源模型做的尝试，几十个模型，类似于传统的双口，用户可以自己选择到底用什么样的模型，用户选择自己想要的结果或者对比去看，这是第一版做的。这样的话，用户需要粘贴、对比很麻烦的使用。
第二版，做了一些内部的开源项目，开发者开了自己的ID插件，把模板集成ID的模板里。不能说我们的产品是比市面上好，但是其实也是类似的，我们有合规的要求，做了自己内部的ID插件，也是对比整个行业的产品，借鉴很多的功能，最后做自己的ID插件。当然这是面向开发，面向测试还有其他工具的集成，可以更快速完成这些对比。
03
总结和展望
大模型赋能场景推荐
这是自己开发者总结出来的推荐场景，把英语润色，技术查询作为第一推荐，像代码注释，代码生成，单元测试，可以基于自己的代码熟练度，业务复杂场景，自己不断尝试，这点很关键。我们企业推的时候，很多人是不理解的，和创新一样，需要一个转型。实际上不断通过活动、文化包括更加便利的工具引导大家，逐渐使用，从而去推动。我上个月还和另外一个企业的高管聊天，他说也想推这个大模型，但是推不动。供应商的效率提升，卖的就少了。实际可以换个维度，价格是更有优势的，可以做更多的任务，可以两面去看。比如WPS 365的文档生成，我们还是基于开源自己做的，大概是这样推荐的场景。
大模型赋能软件工程效率提升
最后，我们企业内部目前看的实际情况。现在大概是500人，100多人做ICP，每天的日活用户大概90人左右，回应最开始张院长提到的问题，经过我们大半年的尝试，包括整个公司战略的定制，我们认为AI会辅助程序员在未来的开发，会得到很大的效率提升。现阶段我们认为对我们是有帮助的，但是这个帮助可能是有限，大概可能是15%-20%的提升，但是我相信在未来12个月到18月之间，整个比例会大幅度提升，准确率更高，帮助我们提高整个企业效率，这是我们看到的行业趋势。
今天的分享到这里，谢谢大家！
