本文是在阅读IntroductiontoLustreArchitecture的LustreHSMSystemArchitecture时的笔记。 HierarchicalStorageManagement(HSM)isacollectionoftechnologiesandprocessesdesignedtoprovideacost-effectivestorageplatformthatbalancesperformance,capacityandlongtermretention(archival). HMS即HierarchicalStorageManagement，数据的分级存储管...

本文是在阅读IntroductiontoLustreArchitecture的TraditionalNetworkFileSystemsvsLustre时的笔记。 Lustreisadistributednetworkfilesystemandsharessomeofthecharacteristicscommontoothernetworkstoragetechnology,namelythatclientstransactIOoveranetworkanddonotwritedatalocally,theserverssupportconcurrency,andthedataispres...

本文是在阅读IntroductiontoLustreArchitecture的如下章节时的笔记。 Lustre–Fast,ScalableStorageforHPC LustreScalableStorage LustreBuildingBlocks LustreStorageScalability LustresoftwareservicesareimplementedentirelywithintheLinuxkernel,asloadablemodules. Lustre作为Linux内核的模块，工作在内核态。相对于其它存储软件，开发、调试、定位问题时，困难程度会大一些，对参与相...

近来看了一些IBM的存储产品的资料，有一些收获。依据存储软件和搭配硬件，IBM存储产品的组合，大致分类如下： 自研存储软件，搭配自研专有硬件 自研存储软件，搭配通用服务器硬件，比如IBMStorageScale 自研存储软件，开放云服务，比如IBMCloudstorage 开源软件，搭配通用服务器，比如IBMStorageCeph 本文主要梳理基于开源软件搭配通用服务器硬件来构建存储系统的思路和工作任务清单，涉及角色如下： 规划团队 研发团队 资料团队 运维团队 下文讨论各团队的职责和交付件。 规划团队 依据业务场景，站在业务视角观察存储系统，依据业务的数据规模、增长模型等，评估并输出...

本文于2017年2月底完成，发布在个人博客网站上。考虑个人博客因某种原因无法修复，于是在博客园安家，之前发布的文章逐步搬迁过来。 查看当前nginx的编译选项 ./nginx-V nginxversion:nginx/1.9.15 builtbygcc5.4.020160609(Ubuntu5.4.0-6ubuntu116.04.4) builtwithOpenSSL1.0.2g1Mar2016 TLSSNIsupportenabled configurearguments:--prefix=/home/jackie/software/nginx--with-openssl=/home/j...

本文于2017年2月中旬完成，发布在个人博客网站上。考虑个人博客因某种原因无法修复，于是在博客园安家，之前发布的文章逐步搬迁过来。 Google开源Brotli压缩算法 Brotli是一种全新的数据格式，可以提供比Zopfli高20-26%的压缩比。 在caniuse网站查询当前主流浏览器对brotli算法的支持程度，结果页面BrotliAccept-Encoding/Content-Encoding。很不幸，IE11并不支持该算法，与之相反，Chrome从49开始支持brotli算法。 安装 下载源码 从ngx_brotli下载ngx_brotli的代码。ngx_brotli编译时依赖...

本文于2016年4月底完成，发布在个人博客网站上。考虑个人博客因某种原因无法修复，于是在博客园安家，之前发布的文章逐步搬迁过来。 诡异的问题 AppScan扫描报告中提示，Web服务器返回js、css、png、jsp页面的HTTP响应中缺少安全头部。HTTP的安全头部包括HTTPStrictTransportSecurity、X-Frame-Options、X-Content-Type-Options、X-XSS-Protection、Content-Security-Policy。 网上资料很多，于是参照资料修改$CATALINA_BASE/conf/web.xml，增加相关配置，如下是样...

本文于2016年4月底完成，发布在个人博客网站。考虑个人博客因某种原因无法修复，于是在博客园安家，之前发布的文章逐步搬迁过来。 从源码安装nginx 下载软件 编译nginx，必备pcre，zlib，由于jackie打算研究HTTPS，所以还需要openssl。 wgethttps://www.openssl.org/source/openssl-1.0.2g.tar.gz wgetftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.38.tar.gz wgethttp://zlib.net/zlib-1.2.8.tar....

本文于2015年底完成，发布在个人博客网站上。考虑个人博客因某种原因无法修复，于是在博客园安家，之前发布的文章逐步搬迁过来。 在查询favicon.ico相关的资料时，无间中看到了robots.txt。当时没有太注意，后来在百度的站长平台上看到了robots.txt的说明，咨询了度娘，找到几处说明，这里摘抄过来。 robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad，就可以创建和编辑它。 robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘...

本文于2015年底完成，发布在个人博客网站上。考虑个人博客因某种原因无法修复，于是在博客园安家，之前发布的文章逐步搬迁过来。 背景 某一天在办公室分析产品首页加载速度时，无意中从Chrome浏览器的调试窗口看到浏览器在请求一个名为favicon.ico文件，由于Web系统的根路径下不存在这个文件，Chrome仅报了404访问失败，但当时没有太关注。 直到后来在某一次版本上线结束后的下午，还是在分析产品首页的加载速度，突然发现浏览器加载favicon.ico文件时，Web服务器居然把整个首页重新返回了一次，拖累了首页的加载速度。 如是，摆在眼前有两个问题： favicon.ico是何方神圣，...

本文于2015年底完成，发布在个人博客网站上。考虑个人博客因某种原因无法修复，于是在博客园安家，之前发布的文章逐步搬迁过来。 一切要从阿里高级专家君山的一次公开演讲有关。 本文基于tomcat8.0.x版本输出。 君山的演讲 10月17日，有幸参加QCon上海2015全球软件大会。第一次参加这样的技术大会，当然对什么都感到新奇和震撼，但和本文无关，所以不一一细说。在听君山的讲座时，其中一页PPT引起我的极大兴趣。 这页PPT中提到了淘宝的网站系统使用了velocity来做模板引擎，而在使用过程中发现velocity存在诸多问题，主要的问题有： velocity使用解释方式来执行模板，比如涉...

本文于2015年底完成，发布在个人博客网站上。考虑个人博客因某种原因无法修复，于是在博客园安家，之前发布的文章逐步搬迁过来。 基于tomcat8.0.x版本的文档，可以了解到tomcat支持基于gzip实现的压缩返回数据的特性。 配置方法 最简单的配置样例如下： <Connectorport="8080"protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" compression="on" /> 关于启用gzip压缩传输特性，tomcat8.0.x版本提供了如下几个参数： compression，默...

本文于2016年5月份完成，发布在个人博客网站上。考虑个人博客因某种原因无法修复，于是在博客园安家，之前发布的文章逐步搬迁过来。 按照如下配置（适用于Tomcat7.0.x），为Tomcat启用了HTTPS协议，用户访问站点时是否就安全了呢？ <!-HTTP通道，跳转至8443端口--> <Connectorport="8080"protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" /> <!-HTTPS通道--> <Connectorport="8443"protocol...

当前参与交付的语音识别产品服务，算法模块基于经典的Kaldi，算法中的一部分运行在GPU之上。算法团队采用的是声学模型+语言模型的1-pass方案。这个方案的特点在于，语言模型数据文件（HCLG文件）的大小，和训练语料的丰富程度正相关，即语言文本的语料越多，经过训练、转换后得到的语言模型文件越大。经过数据团队一段时间的努力，当前项目使用的语言模型，已经达到了XXGB的规模。这对我负责交付的算法服务组件带来了全方位的挑战： 版本构建，耗时接近30分钟。 安全扫描，耗时接近30分钟，运气不好的话，可能会上升至1小时+。 版本上传软件仓库，耗时至少10分钟。 版本部署，耗时约30分钟。 服务启动，...

基于Kaldi实现语音识别时，需要引入一款名为OpenFST的开源软件，本文中提到的内存问题，即和这款软件相关。考虑到过程比较曲折，内容相对比较长，因此先说结论。 在做长时间的语音识别时，集成了Kaldi和OpenFST的进程将会占用远超出预期的内存，这个现象可能和OpenFST、glibc的实现相关，未必是内存泄漏。 进程占用超出大量内存的原因，简单说一下： OpenFST在工作过程中，申请了很多内存，同时产生了很多内存碎片。 语音识别进程默认使用的glibc无法合并相关的碎片，因而即便相关的内存已经被释放，但glibc仍然无法向操作系统释放内存。 因此，在使用top观察进程的虚拟内存时，...

近两周投入分析产品的内存泄漏问题。测试团队反馈产品在安卓平台运行时，随用户操作，应用占用的内存出现上涨的趋势，停止操作并等待一段时间之后，应用占用的内存没有下降，怀疑存在内存泄漏问题。结合复现的情况，以及一些统计数据，初步确实存在内存泄漏的现象，每次操作都会出现20MB左右的内存无法回收。在Windows平台来复现时，可以得到相同的现象，考虑到Windows平台上的调测工具比较丰富，因此优先在Windows平台分析问题。团队内的Windows专家推荐使用UMDH来分析本问题。UMDH是微软WindowsSDK中的一款工具，用于分析应用程序的内存使用方面的问题，使用简单，功能强大。Windows...

项目组提供了一个AAR文件供下游业务团队集成。 某天，下游团队反馈了一个紧急的问题，最终客户的开发者使用AndroidStudio打包时，构建工具提示构建失败，原因是存在重复的c_shared库文件，建议使用pickFirst命令来修复。最终客户的开发者查阅了一些资料，按照帖子的建议，在项目对应的build.gradle文件中尝试增加pickFirst相关的指令后，问题依然存在，构建仍然失败。 检查我们项目提供的AAR包，确实存在libc_shared.so文件，据下游团队和最终客户的开发者反馈，他们的项目中依赖的其它AAR，也都存在libc_shared.so文件。 使用C编写代码时，通常都...

本文于2016年4月完成，发布在个人博客网站上。考虑个人博客因某种原因无法修复，于是在博客园安家，之前发布的文章逐步搬迁过来。 诡异的问题 分析AppScan扫描报告的时候，发现报告里提示“HTTP动词篡改导致的认证旁路”，一个名字很长，很怪异的问题。咨询度娘没有获取到必要的信息，于是只好按照AppScan报告里给出的重现步骤，实地操作来看看。 AppScan给出的复现步骤很简单，如下： 使用burpsuite拦截浏览器发出的HTTP请求，如下为样例：GET/index.jspHTTP/1.1 Host:127.0.0.1:8080 Cache-Control:max-age=0 Acce...

参照OpenHarmony应用开发环境安装流程，下载安装OHOS的IDE，过程中需要全程联网。IDE，安装至D:\Tools\Huawei\DevEcoStudio。 IDE安装成功之后，按照提示下载安装HOS和OHOS的SDK。nodejs，安装至D:\Tools\Huawei\nodejs。HOS的SDK，安装至D:\Tools\Huawei\HOS\SDK。OHOS的SDK，安装至D:\Tools\Huawei\OHOS\SDK。 工具准备好了，就可以开始向OHOS平台移植开源软件的工作了。 OHOSSDK当前自带的cmake和ninja的版本比较低，不支持一些高级的特性，因此可以下载最...

安装OHOSSDK参照OHOSIDE和SDK的安装方法，安装构建工具。创建用户环境变量OHOS_NDK_HOME，指向OHOSSDK的安装路径，比如D:\Tools\Huawei\OHOS\SDK\9。 构建vcpkg.exe下载定制过的vcpkg-tool项目的代码，执行如下命令： gitclonehttps://gitee.com/oh-graphics/vcpkg-tool.git-boh-graphics 编译vcpkg，执行如下命令： cdvcpkg-tool mkdirbuild cmake.. cmake--build--parallel 准备vcpkg 下载定制过的vcpk...