lcmAlSHHIVfa
需求： 工作中需要计算上市公司数字基础设施数据，需要首先利用MongoDB的不等值对数据库的数据框进行预处理，然后通过db.numbers.find参数进行转换后计算处理，最后利用分类分析法来进行单项计算和归类存储，用于后续的深度数据挖掘。 解决： //num>220db.numbers.find({num:{gte:220}}); //num=220db.numbers.find({num:220});db.numbers.find({num:{$eq:220}}); //num<220db.numbers.find({num:{lt:220}}); //num>=220a...
需求： 工作中需要计算各省数字贸易指数数据，需要首先利用peek获取栈顶元素，然后通过n.next进行顶端元素传值，最后利用综合指数法来进行合一计算和存储，用于后续的深度数据挖掘。 解决： classNode(object):definit(self,val):self.val=val指向元素的值self.next=NoneclassStack(object):definit(self):self.top=Nonedefpeek(self):获取栈顶的元素ifself.top!=None:returnself.top.valelse:returnNonedefpush(self,n):n=No...
需求： 工作中需要计算上市公司环保投入数据，需要首先利用row.names参数对数据库的数据框进行预处理，然后通过with参数进行转换后计算处理，最后利用分类分析法来进行单项计算和归类存储，用于后续的深度数据挖掘。 解决： patientID<c(1,2,3,4)age<c(25,34,28,52)diabetes<c("Type1","Type2","Type1","Type2")status<c("Poor","Improved","Excellent","Poor")patientdata<data.frame(patientID,age,diabetes,...
需求： 工作中需要计算货币政策不确定性等大量数据，需要从每个数据源中提取灵动文本值，对其进行统计分析汇总，便于后续进行回归及其他实证设计。 解决： python自带的linecache模块中getline方法简单好用，可直接提取文件中对应行的内容并进行统计分析 !/usr/bin/python -- coding: UTF-8 -- data_filter import os,sys,linecache info = os.getcwd() fout ...
需求： 工作中需要计算地级市绿色专利申请和授权数据，需要利用readlines进行分行文本值提取，然后进行转换、匹配和记录写入，最后需要分析汇总，用于后续的深度数据挖掘。 解决： importrefile_path='/home/pxing/codes/realsense_ws/src/realsense-ros/scripts/Assembling/joint.txt'withopen(file_path,'r')asf:list=[]lines=f.readlines()forlineinlines:line=re.findall(r"\d+\.?\d",line)a=float(line...
需求： 工作中需要计算农业全要素生产率数据，需要利用HiveQL进行数据仓库提取，然后进行转换式计算，最后需要进行要素生产效率分析，用于后续的深度数据挖掘。 解决： CREATETABLEIFNOTEXISTSmytable( col1STRING, col2INT, col3DOUBLE ) ROWFORMATDELIMITED FIELDSTERMINATEDBY',' STOREDASTEXTFILE; LOADDATALOCALINPATH'/path/to/data.txt'INTOTABLEmytable; SELECTFROMmytable; ...
需求： 工作中需要计算上市公司绿色创新效率数据，需要首先利用text_preprocessing对文本提取值进行预处理，然后通过Textmining方法进行转换后计算处理，最后利用效率法来进行综合计算和归类存储，用于后续的深度数据挖掘。 解决： importnltkfromnltk.corpusimportstopwordsfromnltk.tokenizeimportword_tokenizenltk.download('stopwords')nltk.download('punkt') deftext_preprocessing(text):文本转换text=text.lower()分词t...
需求： 工作中需要计算上市公司污染排放数据，需要首先利用unescape方法对进行文本分析的数据预处理，html2="""MySecondHeading Mysecondparagraph. """ html_list=[html1,html2] forhtmlinhtml_list:soup=BeautifulSoup(html,'html.parser')text=soup.get_text()print(text)print('-----') 然后通过with参数进行转换后计算处理，最后利用分类分析法来进行单项计算和归类存储，用于后续的深度数据挖掘。 解决： frombs4impor...
需求： 工作中需要计算上市公司绿色专利申请数据，需要从先搜索表单值，然后进行匹配和请求，最后需要分析汇总，用于后续的深度数据挖掘。 解决： python中的三大插件，即requests、Beautifulsoup4、lxml的灵活运用，可直接对表单值进行提取、匹配，并进行统计分析 importrequestsfrombs4importBeautifulSoupdefgetHTMLText(url):try:r=requests.get(url,timeout=30)r.raise_for_status()r.encoding='utf-8'returnr.textexcept:return""...
需求： 工作中需要计算上市公司碳排放数据，需要利用分读for循环进行文本值提取，然后进行匹配和记录写入，最后需要分析汇总，用于后续的深度数据挖掘。 解决： defread_txt(inputpath,outputpath):withopen(outputpath,'w',encoding='utf-8')asfile:withopen(inputpath,'r',encoding='utf-8')asinfile: data2=[] forlineininfile: data_line=line.strip("\n").split()去除首尾换行符，并按空格划分 print(data_li...
需求： 工作中需要计算各省数字专利申请数据，需要首先利用sql的acl参数对数据库的数据框进行预处理，然后通过permission参数进行转换后计算处理，最后利用分类分析法来进行单项计算和归类存储，用于后续的深度数据挖掘。 解决： sql： DROPTABLEIFEXISTSacl;CREATETABLEacl(idintNOTNULL,user_idintDEFAULTNULL,permission_idintDEFAULTNULL,PRIMARYKEY(id),KEYuser_id(user_id),KEYpermission_id(permission_id))ENGINE=InnoD...