概念：特征工程是机器学习中的一项重要技术，它通过对数据进行预处理、转换和提取，使得机器学习算法能够更好地利用数据特征进行模型训练和预测 特征处理和选择是特征工程的核心环节，其主要目的是从原始数据中提取出与特定任务相关的特征，并去除无关或冗余的特征，从而提高模型的性能和准确性。通过这些特征处理和选择的方法，我们可以更好地理解数据的内在特征和规律，并将这些特征转化为机器学习算法能够利用的形式。 特征处理，包括的内容： 数据清洗：包括处理空值、重复值、异常值等问题。 特征选择：从数据中选取与目标变量最相关的特征，或剔除不相关或冗余的特征。 特征提取：从数据中挖掘出能够反映数据整体特征或局部结构的特...

  ● 评测工具：用于评估模型的整体能力 ● 评测基准：用于评估模型在特定任务方面的能力   评测集名称 核心维度 测试模型的描述 评测类型 MMLU 多模态语言理解 理解文本、图像和音频等多种模态数据之间的关系方面的能力 评测工具 AGIEVAL 通用人工智能 自然语言理解、机器翻译、视觉识别等多种不同任务方面的能力 评测工具 ARC 对话理解 理解对话场景中的意图和信息方面的能力 评测工具 CEval 自然语言推理 理解和推理自然语言中的逻辑关系方面的能力 评测工具 Race 阅读理解 理解文本的语义和结构方面的...

大模型事实核查测试介绍 大模型的事实核查维度主要包括以下几个方面： 事实理解：大模型需要能够理解事实陈述中的事实信息，包括事实的主体、客体、属性、关系等。 知识推理：大模型需要能够根据事实信息进行推理，从而得出新的事实信息。 语言生成：大模型需要能够生成准确的事实陈述，以回答事实核查问题。 具体来说，大模型在事实理解方面需要能够： 识别事实陈述中的关键信息，例如主体、客体、属性、关系等。 理解事实陈述中的语义，例如事实陈述的真实性、确切性、可靠性等。 识别事实陈述中的歧义，并进行消歧。 大模型在知识推理方面需要能够： 利用事实陈述中的事实信息进行推理，得出新的事实信息。 利用事实陈述...

语言大模型(LargeLanguageModels,LLMs)是近年来自然语言处理领域的重要发展之一。其主要特点是: 海量参数:LLMs包含了上十亿个参数,特别是GPT-3包含了1759亿个参数。这些大规模的参数使其可以学习非常复杂的模式和表征。 巨量数据集:LLMs通过海量数据进行预训练,例如GPT-3使用了Web爬取的800G数据。这些大规模数据使其可以学习到非常丰富的世界知识和语言表达。 特殊网络架构:LLMs通常采用Transformer网络架构,它由自注意力机制和前馈神经网络组成。这种网络结构可以高效处理长文本输入和捕捉语言的长程依赖关系。 零样本学习:LLMs可以对新任务进行零样...

建立大模型的数据质量保障机制是确保模型性能和可靠性的关键一步。以下是建立此类机制的一般步骤： 1.数据采集与收集：确定数据来源：明确定义从哪里获取数据，例如数据库、外部API、传感器等。数据采集策略：定义数据采集频率、数据范围、采集设备等。数据收集：设计和实施数据收集过程，确保数据能够有效地被捕获和存储。 2.数据清洗与预处理：数据质量检查：执行数据质量检查，识别和纠正无效、不完整或错误的数据。数据转换：对数据进行规范化、归一化和转换，以适应模型的需求。缺失数据处理：制定策略处理缺失数据，如填充、删除或插值。 3.特征工程：特征选择：选择与模型任务相关的特征，排除不相关的信息。特征生成：创建新...

数据标注是将原始数据进⾏加⼯处理，⽐如分类、拉框、注释、标记等操作转换成机器可识别信息的过程。 国内数据标注⼚商，⼴义称之为基础数据服务提供商，通常需要完成数据集结构/流程设计、数据处理、数据质检等⼯作，为下游客⼾提供通⽤数据集、定制化服务、数据闭环⼯具链等。这也是本次AIGC数据标注全景报告的研究对象。 数据标注一般流程：  数据标注中的⼆⼋定律 通常在一个AI项目中，数据准备工作需要80%时长，模型训练和部署仅占20% 根据原始数据类型以及训练任务划分： 【⽂本】：词性标注、分类标注、情绪标注、命名实体识别、语义标注、意图标注等； 【图像】：图像分类、语义分割、实例分割、拉框、...

作者：Syw

流程、规范和制度是组织内部管理和运作的重要概念，它们虽然有些相似，但在含义和应用上有一些区别。   1、流程（Process）：流程是指按照一定的步骤和顺序执行任务的方法。它关注的是操作的顺序和流程，旨在提高工作效率并确保任务按照一定的步骤完成。 2、规范（Standard）：规范是指制定的准则或标准，用于规定行为、操作或设计的规则。它关注的是特定领域或操作的标准化，旨在确保一致性、可重复性和质量的提升。 3、制度（Policy）：制度是一种指导性文件，规定了在特定情况下应该采取的方法、步骤和决策。它关注的是组织的官方方针和规则，以确保合规性和一致性。 4、标准（Standard）：...

clickbench官网链接：https://benchmark.clickhouse.com/ 如下采用的数据库为分析型数据库支持MySQL协议，其他所有的数据库操作方法均类似 测试背景 利用clickhouse的clickbench测试数据与查询SQL对AtomData进行了性能测试，所有的测试方法均与其他clickbench上的其他产品一致。预期将AtomData的测试结果与其他数据库产品进行对比，寻找出性能差异，便于后期产品进行性能优化，并清楚当前AtomData若打榜存在的优劣势。 测试环境   类型 资源规格（CPU/MEM/DISK） &nbsp...

1、看centos7的防火墙的状态，查看的命令为 sudosystemctlstatusfirewalld 　　查看后，看到active(running)就意味着防火墙打开了。         2、如果想关闭防火墙，命令为： sudosystemctlstopfirewalld 　　关闭后查看是否关闭成功，如果看到inactive(dead)就意味着防火墙关闭了。 　　再次使用sudosystemctlstatusfirewalld检查状态已经关闭成功          3、打开防...

重要说明：sysbench在Git上的各个版本二进制包下载路径：https://github.com/akopytov/sysbench/releases 如下的2种安装方式，任选一种即可 第一种：Quickinstallinstructions: Debian/Ubuntushellcurl-shttps://packagecloud.io/install/repositories/akopytov/sysbench/script.deb.sh|sudobashsudoapt-yinstallsysbenchRHEL/CentOS:shellcurl-shttps://packagec...

界面UI的测试(颜色、图标、字体、间距等的搭配)   导航的测试【导航是否直观、导航与页面结构、菜单、连接页面的风格是否一致】   图形的测试【自适应界面，内容根据窗口代销自适应、页面标签是否统一、图片质量要高且图片尺寸在设计符合要求的盈眶下尽量小】   APP中功能的易用性/用户体验测试（包括：toast提示语、功能的层级结构）   功能测试   内容测试【文字长度是否加以限制、输入框说明文字的内容与系统功能是否一致、文字内容是否表意不明、是否有错别字、是否有敏感词汇/关键字等】   运行   应用的前后台切换 &nbsp...

1、快速学习和思考能力 　　主要用户需求快速理解，提升问题发现深度和效率，广度   2、问题发散能力 　　主要用于对于影响面的归纳和总结，覆盖，重点是发散性的寻找问题   3、沟通、协调能力 　　主要用于推动问题的解决和资源间的合理协调，保障项目上人品配比的需求   4、总结 　　主要用于问题的汇总、经验的获取等   5、性格活泼也是优势  1.作者：Syw 2.本文版权归作者所有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。 3.如果文中有什么错误，欢迎指出。以免更多的人被误导。 ...

一、什么是测试策略？ 　　通俗讲6个字，“测什么”和”怎么测“   二、产品相关的六大问题 　　测试对象的范围是什么？ 　　测试目标是什么？ 　　测试的重点和难点是什么？ 　　测试的深度和广度？ 　　如何安排各种测试活动（先测什么？再测试什么？） 　　如何评价测试策略？   三、测试策略等于测试方针？ 　　测试方针：是产品测试中的通用要求、原则和底线。测试方针的显著特点：它不针对某个特定产品，而是一个产品族，或是一个产品系列，并且在较长一段时间内都是适用的。 　　测试策略：仅针对当前特定的产品版本而言，并不像测试方针那样具备通用性。遵循测试方针+项目实际情况=测试策略 &n...

漏测，指在产品缺陷在测试过程中没有被发现（尤其是测试环境可以重现的缺陷），而是在版本发布后或者在用户使用后发现并反馈回来的缺陷。可以说，漏测的问题是测试管理者最头痛的问题。因为出现漏测，一来给客户带来了不好的影响和印象，二来增加缺陷修复的成本，三来给测试团队也带来负面和不利的影响。因此，作为测试管理者，测漏分析和预防是必须要做好。 　　漏测的原因分析有以下的几个方面： 　　·需求评审质量低，或参评人员能力不足，或过程不规范严谨 测试用例无及时更新 　　· 用例设计的过于粗犷，测试步骤不清晰 　　· 测试用例对需求的覆盖面不全，考虑不足 　　· 测试人员测试思维局限...

  常见问题：     1、什么时候该补充Checklist？     2、Checklist应该写哪些用例？    3、自己写的模块是否自己执行？    4、什么时候执行Checklist？    5、执行完Checklist大概需要花费多久的时间？    6、每次更新Checklist后的命名规则？   如上问题的解答： 1、什么时候该更新补充Checklist？&nbsp...

请将图片右键，进行另存为你自己的路径，再次打开下载的图片进行放大，即可看到清晰版   要Xmind文档的请留言  1.作者：Syw 2.本文版权归作者所有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。 3.如果文中有什么错误，欢迎指出。以免更多的人被误导。

 1.作者：Syw 2.本文版权归作者所有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。 3.如果文中有什么错误，欢迎指出。以免更多的人被误导。

你是如何做测试分析？ 　　 主要从功能的实现和性能问题上入手，功能的话以需求和实际使用的流程来分析，性能的话以更新后的可能的性能变化趋势分析。   功能测试在beta版本对外的上线标准是什么？ 　　缺陷收敛，基本功能和流程没有缺陷。用户体验佳。   描述下web测试和移动应用测试的相同点和区别？ 　　相同点：都要看界面和功能性能接口不同点：web功能重点在使用性能更加着重服务器的性能，app侧重画面感和终端流畅，性能的话对终端的性能测试需求比较高   iOS应用和Android应用测试有什么侧重点？  　　审核平台，webview的方法，权限设...

1.后端性能测试 后端性能测试，是通过性能测试工具模拟大量的并发用户请求，然后获取系统性能的各项指标，并且验证各项指标是否符合预期的性能需求的测试手段。   2.前端性能测试 通常来讲，前端性能关注的是浏览器端的页面渲染时间、资源加载顺序、请求数量、前端缓存使用情况、资源压缩等内容，希望借此找到页面加载过程中比较耗时的操作和资源，然后进行有针对性的优化，达到优化终端用户在浏览器端使用体验的目的减少http请求次数、减少DNS查询次数、避免页面跳转、使用内容分发网络、Gzip压缩传输文件   3.代码级性能测试 代码级性能测试，是指在单元测试阶段就对代码的时间性能和空间性能进...