TiQYOpoRbtBf
何为华为鲲鹏认证 华为鲲鹏认证是华为云围绕鲲鹏云服务（含公有云、私有云、混合云、桌面云）推出的一项合作伙伴计划，旨在为构建持续发展、合作共赢的鲲鹏生态圈，通过整合华为的技术、品牌资源，与合作伙伴共享商机和利益，助力合作伙伴与华为联合打造基于鲲鹏的联合解决方案，改变国产IT长期低附加值与高定制化的现状，重塑国产IT生态体系。据了解，面向不同的招商展示需求，如何应用华为云服务，让技术更好地实现可视化以满足客户要求，展现高质量展示效果，是本测试的重点。 追求极限 INFINIGateway是一个面向搜索场景的高性能数据网关，所有请求都经过网关处理后再转发到后端的搜索业务集群。基于INFINIGate...
何为华为鲲鹏认证 华为鲲鹏认证是华为云围绕鲲鹏云服务（含公有云、私有云、混合云、桌面云）推出的一项合作伙伴计划，旨在为构建持续发展、合作共赢的鲲鹏生态圈，通过整合华为的技术、品牌资源，与合作伙伴共享商机和利益，助力合作伙伴与华为联合打造基于鲲鹏的联合解决方案，改变国产IT长期低附加值与高定制化的现状，重塑国产IT生态体系。据了解，面向不同的招商展示需求，如何应用华为云服务，让技术更好地实现可视化以满足客户要求，展现高质量展示效果，是本测试的重点。 追求极限 极限科技研发的INFINIConsole是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本...
何为华为鲲鹏认证 华为鲲鹏认证是华为云围绕鲲鹏云服务（含公有云、私有云、混合云、桌面云）推出的一项合作伙伴计划，旨在为构建持续发展、合作共赢的鲲鹏生态圈，通过整合华为的技术、品牌资源，与合作伙伴共享商机和利益，助力合作伙伴与华为联合打造基于鲲鹏的联合解决方案，改变国产IT长期低附加值与高定制化的现状，重塑国产IT生态体系。据了解，面向不同的招商展示需求，如何应用华为云服务，让技术更好地实现可视化以满足客户要求，展现高质量展示效果，是本测试的重点。 追求极限 极限科技研发的INFINIEasysearch是一个分布式的近实时搜索与分析引擎，同时也是一款具备自主可控的分布式近实时搜索型数据库产品，...
Easysearch一直致力于提高易用性，这也是我们的核心宗旨，然而之前一直没有官方的Java客户端，也对用户使用造成了一些困扰，现在，我们正式发布了第一个Java客户端 Easysearch-client:1.0.1。 这一里程碑式的更新为开发人员带来了前所未有的便利性，使得与Easysearch集群的交互变得更加简洁和直观。通过Easysearch-client，开发者可以直接使用Java方法和数据结构来进行交互，而不再需要依赖于传统的HTTP方法和JSON。这一变化大大简化了操作流程，使得数据管理和索引更加高效。Java客户端的功能范围包括处理数据操作，管理集群，包括查看和维护...
最近有客户在使用Elasticsearch搜索服务时发现集群有掉节点，并且有master收集节点信息超时的日志，节点的负载也很高，不只是data节点，master和协调节点的cpu使用率都很高，看现象集群似乎遇到了性能瓶颈。查看了Hot_threads,发现大量线程被权限验证相关的类和方法占用，主要在RBACEngine和AuthorizationService两个类。并且不止协调节点和数据节点，master节点居然也有那么多权限验证的操作？ 于是怀疑是不是对权限验证的使用方式不对，在github上搜了下，果然发现有人遇到和我们非常类似的场景。ImproveAuthorizationperfo...
近年来，日志管理平台越来越流行。使用日志管理平台可以实时地、统一地、方便地管理和查看日志，挖掘日志数据价值，驱动运维、运营，提升服务管理效率。 方案架构 Beats是轻量级采集器，包括Filebeat、Metricbeat等。 Easysearch是个分布式搜索引擎，提供搜集、分析、存储数据等主要功能。 Console是一个可视化工具，提供可视化查询，制作报表等功能。 本文将搭建一个统一日志管理平台。使用Filebeat采集OS中的日志（其他日志大同小异），发送到Easysearch中。最后通过Console进行日志的可视化查询与分析。 操作步骤 准备工作 部署Easysearch...
之前通过短视频向大家介绍了Console如何集成LDAP，但很多小伙伴反映按照视频里的配置后不成功。今天就结合小伙伴们反映的问题来跟大家详细介绍一下。ConsoleLDAP完整的配置参数如下： 名称 类型 说明 host string LDAP服务器地址 port int LDAP服务器端口，默认389 tls bool LDAP服务器是否为TLS安全传输协议，默认false bind_dn string 执行LDAP查询的用户信息 bind_password string 执行LDAP查询的密码信息 base_dn string 过滤LDAP用户的根域...
中标喜讯！极限科技INFINI Easysearch 成功签约中国第一汽车股份有限公司三年订阅合同！ 一汽集团作为国内汽车行业龙头企业，数字化转型伴随业务发展不断深化，非结构化数据日益成为各类组织数据的增长主力，逐渐成为数据要素的重要组成部分。以自动分词技术、倒排索引技术、相关度计算、向量检索引擎等技术为核心构建的搜索型数据库作为高效处理非结构化数据的基础软件。 近日，极限科技成功中标中国第一汽车股份有限公司《搜索数据库许可订阅（3）年合同》，实现对国外搜索型数据库的迁移替换，为中国第一汽车股份股份有限公司提供安全、稳定、可靠的快速检索和实时数据探索分析能力。 关于极限...
引言 在海量数据的存储和处理中，索引膨胀率是一个不可忽视的关键指标。它直接影响了存储成本和查询性能。近期，Easysearch在这方面取得了显著的进展，其压缩功能的效果远超过了之前的版本。本文将详细介绍这一进展。 Easysearch各版本压缩性能对比 根据之前文章的数据，Easysearchv1.1在处理相同数据时，其索引大小比Elasticsearchv6.4.3降低了50%。但这还不是全部，最新的测试数据更是令人惊艳。 显著的压缩效果：实验数据解析 通过对比不同版本的存储大小，我们更直观地了解到Easysearch在压缩方面的优势： Easysearch的原始版本，未开启压缩：存...
近日，2023年10月的墨天轮中国数据库流行度排行火热出炉，本月共有283个数据库参与排名，中国数据库行业竞争日益激烈。其中，极限科技旗下软件产品INFINIEasysearch稳步推进，在国内整个数据库排行中进入了前30的行列！ 同时在搜索型数据库分类排名中保持领先，稳住了第一名的好成绩，逐渐拉开差距。 INFINIEasysearch是一个分布式的近实时搜索与分析引擎，同时也是一款具备自主可控的分布式近实时搜索型数据库产品，具备高性能、高可用、弹性伸缩、高安全性等特性，具备支持丰富的个性化搜索及聚合分析能力，可部署在物理机、虚拟机、容器、私有云和公有云，能承载PB级别的海量业务数据，为...
近日，由DataFun主办的 DataFunSummit2023数据基础架构峰会 圆满落下帷幕，本次峰会邀请了腾讯、百度、字节、极限科技、Zilliz等众多企业技术专家为大家带来分布式存储以及向量数据库的架构原理、性能优化与实践解析分享。 在 向量数据库架构与实践论坛 中，极限科技搜索引擎研发工程师张磊受邀出席做了《给ES插上向量检索的翅膀》的主题演讲。据介绍，本次演讲主要介绍了Elasticsearch（ES）与向量技术的融合，展示其在不同行业中的应用场景和优势，同时也对ES与向量的技术细节进行详细讨论，并通过具体案例演示如何利用向量提升搜索能力。 ...
在使用ES的过程中，如果ES集群中存放的是敏感数据，是不能够随便供人查看的。什么？在排查故障？那也不行，合规高于一切。不知道大家有没有遇到过上面描述的情景，或者如果是你遇到了，你会怎么办呢？我们常常讲，解决问题要抓住问题的本质。人类的本质是复读机，上述问题的本质是"敏感"。既然问题的本质是数据敏感，那就把敏感数据变成普通数据。这样既符合了合规要求，也促进大家工作。话不多说，我们demo。在下面的demo过程中，我们主要用到easysearch，不为别的，因为它自带脱敏功能。 准备敏感数据 下面的数据中，字段description和country是敏感的。受限用户查看时，敏感数据显示脱敏后的内容...
近日，由极限数据（北京）科技有限公司自主研发的《一种数据分区方法及数据处理方法》研究成果成功获得国家发明专利授权（专利号：ZL202310188025.8）。 本发明是一种数据分区方法及数据处理方法，通过文档的唯一标识设计和分区的二维拆分算法，基于数据感知且无需根据数据量来预判需要多少分区，能够无限水平增加，支撑未知海量数据的增长需求。相比常规分布式系统存储分区方法（基于哈希的分区方法、基于取值范围的分区方法等），本发明能够更好的应对异构系统,实现动态扩容应对数据的写入压力。 本发明获得国家发明专利授权，标志着极限科技在大数据存储和处理分析领域的技术实力和创新能力得到了认可。极限科技将继续加...
摘要 为了验证当前集群经常出现索引超时以及请求拒绝的问题，现模拟线上集群环境及索引设置，通过压测工具随机生成测试数据，针对当前的850个分片的索引，以及减半之后的索引，以及更小分片索引的写入进行压测，使用不同的并发、不同的批次大小来观察索引的吞吐情况，并记录写入队列的堆积情况，用来分析分片数、批次数对写入的影响，从而确定后续的优化方案。 压测场景 Elasticsearch版本v7.7.1,共有57个节点，其中3个独立Master，3个协调节点，31GBJVM。 压测流程 单索引850分片 索引定义 PUTidx-xxxx-xxxxxx { "aliases":{ "alias-xxxx-...
简介 在上一次，我介绍了在国产操作系统KylinV10(Lance)-aarch64上安装单机版Easysearch/Console/Agent/Gateway/Loadgen，小伙伴们可查看原文。今天我重点介绍下在Loongnix-ServerLinuxrelease8.4.1(3C5000L)上安装Easysearch。 系统配置 在安装之前，需要先进行系统参数调整并创建操作用户，以下命令均需要使用root用户操作。 配置nofile和memlock tee/etc/security/limits.d/21-infini.conf<<-'EOF' softnofile1048...
Easysearch可以通过Helm快速部署了，快来看看吧！ Easysearch的Chart仓库地址在这里 https://helm.infinilabs.com。 使用Helm部署Easysearch有两个前提条件： cert-manager local-path 我们先按照Chart仓库的说明来快速部署一下。 helmrepoaddinfinilabshttps://helm.infinilabs.com cat<<EOF|kubectlapply-ntest-f- apiVersion:cert-manager.io/v1 kind:Issuer metad...
简介 本文主要介绍在国产操作系统KylinV10(Lance)-aarch64上安装单机版Easysearch/Console/Agent/Gateway/Loadgen 系统配置 在安装之前，需要先进行系统参数调整并创建操作用户，以下命令均需要使用root用户操作。 配置nofile和memlock tee/etc/security/limits.d/21-infini.conf<<-'EOF' softnofile1048576 hardnofile1048576 softmemlockunlimited hardmemlockunlimited rootsoftnofile...
INFINILabs产品又更新啦。本次更新概要如下：Easysearch新增了索引字段相关统计API，优化了source_reuse提升压缩效率；Gateway新增诸多新特性，如：支持基于Kafka的复制能力，添加可插拔的分布式锁实现，新增CPU资源限制等功能；Console本次主要优化了数据迁移功能，迁移任务详情页新增了若干指标图和日志查看等功能。 欢迎大家下载使用和反馈。 INFINIHelmChartsv0.1.0 INFINIHelmCharts是一组Kubernetes部署包管理工具。基于HelmCharts，我们将INFINILabs旗下相关产品预先配置好程序资源包，大大简化了...
最近有小伙伴找到我们说Kibana上添加不了RemoteCluster，填完信息点Save直接跳回原界面了。具体页面，就和没添加前一样。 我们和小伙伴虽然隔着网线但还是进行了深入、详细的交流，梳理出来了如下信息： 两个集群：集群A和集群B，版本都是7.10.0； 集群A没区分节点角色； 集群B设置了独立的master节点、coordinator节点和data节点，其中data节点还带remote_cluster_client角色； 在集群A的Kibana可以添加集群B为远程集群； 在集群B添加集群A就不行，Kibana跳回之前的页面； 网络组确认已经放开策略，网络测试也正常； 翻...
EasysearchChart包更新了，让我们来看看都有哪些变化： Docker镜像升级 Service名称调整，支持NodePort模式部署 现在让我们用NodePort模式部署一下： helmsearchrepoinfinilabs NAME CHARTVERSION APPVERSION DESCRIPTION infinilabs/console 0.2.0 1.8.0-1259 AHelmchartforKubernetes infinilabs/easysearch 0.2.0 1.6.0-59 AHelmchartforKubernetes infinila...