software engineering

A2研发团队使用AI情况调研分析

Posted by Shi Hai's Blog on July 1, 2024

纯摘抄性质的搬砖。。

A1

设计

Claude3 Sonnet

Claude3 Sonnet通过模型可以辅助研发人员达成分析阶段的需求分析、绘制各类UML图、领域模型设计，并生成相关代码。
注：Amazon投资了Anthropic公司。 生成式 AI 技术辅助软件系统设计开发

开发

Bedrock Claude CodeCoach

本项目是使用Amazon Bedrock和Anthropic公司的Claude 2大语言模型构建的一个代码助手，它包括代码生成功能，代码执行功能，提示词模版编辑器，支持python、golang、nodejs、php、rust语言的执行、编译、运行，而且这些环境内置了Amazon Web Service SDK。

使用 Amazon Bedrock + Claude 3 打造个性化智能编程助手

Code Guru

是一款静态应用程序安全测试 (SAST) 工具，结合了ML和自动推理来识别代码中的漏洞，并提供有关如何修复这些漏洞的建议，并跟踪其状态直至关闭。CodeGuru Security检测到开放式全球应用程序安全项目 (OWASP)发现的十大问题 常见弱点列举 (CWE)发现的前25个问题 、日志注入、机密以及AWS API和SDK的不安全使用。CodeGuru Security还借鉴了AWS安全最佳实践，并在亚马逊上接受了数百万行代码的培训。

CodeWhisperer

许多客户使用 Amazon CloudWatch 来获取实时监控、警报和报警，以及可自定义的仪表板来可视化定制的指标，从而帮助推动业务决策。组织能够利用自定义小部件，这是一个 CloudWatch 仪表板小部件，可以使用自定义参数调用任何 AWS Lambda 函数。这大大增强了在仪表板上分析和显示数据的可能性。但是，如果您的组织没有编写 Lambda 函数的专业知识，会发生什么？Amazon CodeWhisperer 可以提供帮助，它提供编写这些函数的代码建议，从而帮助实现更好的可观察性。 利用生成式AI使用Amazon CodeWhisperer在Amazon CloudWatch中创建自定义仪表板小部件

Amazon Q开发者版

Amazon Q开发者版本融入了AWS Well-Architected模式、文档、解决方案实施等。可根据我们的注释和现有代码，实时生成从代码片段到完整函数的代码建议，可自动执行升级和转换Java应用程序的过程，例如：JDK8升级到JDK17。利用简单的自然语言提示快速了解AWS账户中正在运行哪些资源（预览版），帮助我们诊断管理控制台中的错误，帮助选择合适的作业实例，甚至帮助我们修复网络连接问题，以便我们能够更快地管理基础设施。编写单元测试，优化代码并扫描漏洞。Amazon Q将提出修复建议，帮助我们即时修复代码。

运维

Macie

是一项数据安全服务，它使用 ML 和模式匹配来发现并帮助保护您的敏感数据。Macie 会自动检测大量且不断增长的敏感数据类型，包括个人身份信息 (PII)，例如姓名、地址和财务信息，例如信用卡号。它还让您可以持续查看存储在 Amazon Simple Storage Service (Amazon S3) 中的数据。

Bedrock

Amazon Bedrock是一项完全托管的服务，通过单个API提供来自AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI和Amazon等领先人工智能公司的高性能基础模型（FM），以及通过安全性、隐私性和负责任的人工智能构建生成式人工智能应用程序所需的一系列广泛功能。
Claude 3发布之后，其强大的多模态推理、视觉能力、翻译、总结、写作、编码等能力，再次激发生成式AI的热潮。Amazon Bedrock也是首个Claude 3全托管且正式可用的服务。Bedrock多模型接入 – Bedrock Connector部署与使用指南

现在智能监控平台已经成为确保IT基础设施高效运行和优化运维效率的关键工具，很多公司已经使用Grafana和Prometheus作为可观测性的核心工具。传统的监控系统往往只能被动收集和展示原始数据，缺乏深入分析和智能见解的能力。相比之下，智能监控平台通过融合先进的人工智能、机器学习和大数据分析技术，可以从海量监控数据中主动发现隐藏的模式和趋势，提供预测性维护和自动化优化建议。
借助Amazon Bedrock等AI技术平台，智能监控平台可以集成业界领先的大语言模型（LLM），如Claude 3等。这些LLM具备出色的自然语言处理能力和多模态能力，能够对监控日志、警报消息和系统指标图表等非结构化数据进行深度分析和理解，从而发现潜在的异常情况和风险因素。
使用 Amazon Bedrock Claude3 多模态能力和 Grafana 构建智能巡检平台

企业用户在使用 Bedrock 构建生成式人工智能应用程序的时候，不仅关注应用程序本身是否能够解决业务痛点或者实现业务创新，同时还会关心业务流程是否存在风险、大语言模型应用是否得到有效的治理和性能成本是否可控等等。以下总结了构建生成式人工智能的应用程序的时候，经常碰到的监控和管理方面的痛点：

  • 多账号管理：企业组织内通常有多个团队或者部门，使用不同的 IAM 账号来使用大语言模型（比如 Claude3）。这个时候就需要运维或者治理团队来统一管控跨账号的可观测性。
  • 成本控制：调用大语言模型通常需要消耗大量的计算资源，模型调用和 token 使用量直接影响成本支出。所以需要实时监控 token 的使用情况，控制成本在可接受范围内。
  • 性能监控：需要实时监控模型的响应时间、吞吐量等性能指标，确保应用程序的高效运行，任何性能下降都可能影响最终用户体验。
  • 内容审计：出于安全、隐私和合规性考虑，需要详细记录和审计所有模型请求及响应的内容，了解模型输入是否合规、输出是否存在风险。
  • 警报和自动化：需要基于各种指标设置合理阈值，及时触发告警，并通过自动化流程快速应对，如自动扩缩容、IAM 账号暂停服务等。 通过集成云原生的 CloudWatch 监控服务，Amazon Bedrock 旨在帮助客户应对以上挑战，提供全面的监控、审计和成本控制能力，简化大语言模型应用的运维管理。 Amazon Bedrock 多 IAM 用户的成本追踪和控制方案助力 AI Character 最佳实践

基于 Amazon Bedrock 打造您的 Claude3 Opus 智能助理

Devops Guru

Amazon DevOps Guru是一种采用ML的服务，可轻松提高应用程序的操作性能和可用性。DevOps Guru检测偏离正常操作模式的行为，这样您就可以在操作问题影响您的客户之前及早地识别出它们。

Lookout for Metrics

可自动对AWS工作负载和第三方云应用程序进行异常检测和性能监控。

GuardDuty

是一种威胁检测服务，它使用 ML、异常检测和集成威胁情报来持续监控恶意活动和未经授权的行为，以帮助保护您的 AWS 账户、实例、无服务器和容器工作负载、用户、数据库和存储。

AIOps

IT 运维人工智能（AIOps）是指使用人工智能（AI）技术维护 IT 基础设施的过程。您可以自动执行关键运维任务，例如性能监控、工作负载调度和数据备份。AIOps 技术使用现代机器学习（ML）、自然语言处理（NLP）和其他高级 AI 方法来提高 IT 运营效率。该技术可以收集和分析许多不同来源的数据，为 IT 运维提供主动、个性化和实时的见解。
以下是一些为满足 AIOps 要求而构建的 AWS 产品：

  • Amazon DevOps Guru是一项机器学习支持型服务，可帮助软件团队自动检测云中的异常操作；
  • Amazon CodeGuru Security是软件测试工具，可使用机器学习算法自动扫描和识别代码漏洞；
  • Amazon Lookout for Metrics可自动对 AWS 工作负载和第三方云应用程序进行异常检测和性能监控；

AIOps

A2

开发

Visudio Studio中的AI辅助开发

GitHub Copilot和IntelliCode可帮助我们更快、更准确地编写代码，帮助我们更深入地了解代码库，并帮助完成其他开发任务，例如编写单元测试、调试和分析。
Visual Studio中的GitHub Copilot Completions通过根据我们提供的上下文生成整行或整块代码，为开发过程添加了增强的AI辅助。
Visual Studio中的GitHub Copilot Chat是GitHub Copilot在Visual Studio IDE中完全集成的AI聊天体验。它使我们可以使用IDE中的聊天界面与GitHub Copilot进行交互。 通过以自然语言询问与编码相关的问题，我们可以收到特定于上下文的代码建议，获得代码块工作原理的深入分析和解释，生成单元测试，查找问题并获得建议的修复。它使我们无需离开IDE即可获得编码信息和支持，帮助您做出明智的决策并编写更好的代码。
Visual Studio中的IntelliCode使用代码上下文以及从数千个公共开源代码中学习到的模式，通过建议、上下文感知代码补全、整行补全和API 使用示例为Intellisense提供 AI 驱动的增强功能。

Copilot

Microsoft Security Copilot

帮助安全工程师评估风险。

参考文档

CATALOG
    FEATURED TAGS
    openstack-infra books test software engineering python IaC java openstack cpython golang spring Linux db dsl gcc health k8s vm
    FRIENDS