基于Django框架的面向IT行业的求职推荐系统
一、课题的目的及意义
（一）目的及意义
目前我们处于一个数据爆炸的时代，无时无刻不在生产数据和消费数据[1]。面对海量的数据，早期的基于关系型的数据处理模式已无法高效处理，同时由于数据分散在不同的系统，使得使用者无法从中快速有效地寻找到有用信息[2]。除了数据处理方式的问题，找到合适工作的方式也在发生改变。早期的求职过程是通过求职者参加学校、校园招聘会或者主动在多个求职平台搜索感兴趣的职位和公司，又或者通过猎头推荐职位，这些方式都是求职者主动寻找职位的过程，同时有可能存在求职者对自己定位不正确，导致寻找的职位其实不太符合要求，浪费了求职者的时间和精力。随着存储设备价格的不断下降、计算机处理能力的不断提高、网络速度的不断提高，采用大数据技术处理、分析职位数据势在必行[3]。 同时在人才竞争趋于全球化的今天，人才资源是第一资源的战略思想深入人心，人力资源开发与管理已显得格外重要。随着国家改革的不断深化，人才在市场中的作用也越来越重要。随着我国IT行业的不管发展，学习计算机技术的人们越来越多，而面对就业问题则成为焦点。求职者数量众多，就业的机会也很多，但还是存在找工作难，找好工作更难的问题。一方面可能确实是由于求职者的能力不够，另一方面，就是现在求职的平台和渠道五花八门，比如:各种专业的找工作平台、猎头平台、学校就业中心以及各种社交平台。不管是对刚毕业的应届生，还是对有工作经验的社会人员，找工作的成本还是很高。求职者可能每天都需要花费大量的时间浏览各种求职网站，寻找合适的就业机会，同时也面临无法判断工作是否和自己匹配的烦扰。因此，一个基于大数据的综合求职系统就应运而生，该系统使用大数据架构完成海量职位数据的采集、处理、存储、分析、搜索。能够为求职者提供一站式的聚合职位搜索、个性职位推荐、相似职位推荐、职位统计分析，从而大幅度地降低了求职者的求职成本，显著提高了求职者的求职效率，以让求职者更加专注地提高个人水平和能力。
（二）国内外研究现状 大数据概念最早起源于美国，在上个世纪八十年代，著名未来学家阿尔文·托夫勒在《第三次浪潮》书中，提出将“大数据”热情地赞颂为“第三次浪潮的华彩乐章”。2008年9月《科学》(Science)杂志发表了一篇文章“BigData: Sciencein the Petabyte Era”，随后“大数据”这个词开始被广泛传播。国内外对大数据的定义还未有统一的结论，美国国家科学基金会（NSF）则将大数据定义为“由科学仪器、传感设备、互联网交易、电子邮件、音视频软件、网络点击流等多种数据源生成的大规模、多元化、复杂、长期的分布式数据集[4]”。维基百科对大数据的定义为所涉及的资料数量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。虽然描述不同，但是主要有两点是一致的，首先是面对的数据规模庞大，不仅是数据体量大，而且数据结构复杂，既包括结构化的数据也包括非结构化的数据，其次是这些数据有丰富的价值，需要从这些数据中快速有效地获取有用的知识。为了快速高效处理大规模数据，需要引入分布式系统，让一定数量的计算机组成的集群并发处理分析这些数据[5]。国内外对大数据的研究主要在对大数据的存储、传输、处理、分析、管理的技术研究以及相关系统的实现上。包含对分布式数据库、分布式文件系统、云计算平台、虚拟化技术的研究，以及基于现有大数据技术的云平台系统的实现[6]。大数据是一门交叉科学，不仅包含计算机、软件，还和具体考虑的应用场景紧密关联[7]。大数据被广泛地应用到制造业、金融业、电子商务以及电子政务等。制造业可以利用大数据准确高效分析市场需求，合理确定制造目标和方向，提高制造效率，金融业可以使用大数据分析市场预期和分析潜在风险，确保金融行业稳定运行[8]，电子商务可以使用大数据分析用户行为，为用户推荐商品，提高用户的购物效率，同时也可以利用大数据建立精准营销模型，更好地帮助公司精准推销广告[9]，电子政务可以利用大数据合理分配资源，提高政府的办事效率[10]。
二、课题任务、重点研究内容及实现途径 （一）课题任务 使用大数据分析，推荐算法等技术实现就业推荐系统的研究。通过对招聘网站上IT行业的职位进行爬取和分析，进行需求分析、系统设计与实现，包括数据库设计、平台的功能模块代码编写，最后撰写毕业论文。 （二）重点研究内容 使用Python爬虫进行招聘网站的招聘信息爬取采集，同时使用Python进行数据的预处理，并将数据存储入数据库，通过Django实现推荐系统的是基于实现，同时添加关于招聘信息的大屏可视化。 将从各大网站上爬取的招聘信息分类、汇总，可以搜寻出所有计算机岗位中所需求能力的关键词，然后根据用户输入的自己的学习情况和IT技能情况，分析出最符合用户需求的多条数据，供用户选择。如果用户对于岗位的工作时间，薪资，工作地点有相应的要求，系统也可以给予满足。 最终可以实现从大数据网络上面精确地查找就业信息并将这些数据分类和分析,提供给需要就业的人进行个性化选择，也可以通过分析用户的个人简历，来分析出用户的特长，并在就业大数据信息中进行搜寻，找到合适的工作，实现就业者对公司的高效率查找和选择。 从求职者的角度来看，求职者须通过用户模块，如图1所示，填写自己的个人信息、工作经验、需求、薪资等信息，浏览企业岗位信息，招聘需求，管理收藏和应聘信息。以及收藏管理、应聘信息管理、个人中心、咨询管理模块等。 从企业的角度来看，企业单位须通过登录注册，填写企业信息，发布岗位咨询、岗位信息。可以对招聘信息，咨询信息等进行管理。包含登录、注册、岗位发布、咨询管理等模块。从管理员的角度来看，管理员可以进行：系统管理、招聘信息可视化等。 （三）实现途径 该推荐系统的开发，从整体进行设计，后逐步完善系统相应部分的内容模块实现。通过Django框架进行网站的开发，使用mysql进行数据库的管理。 硬件环境: 计算机一台 系统开发平台：Python3.9 + JDK1.8 + Windows 11 框架：Django 前端：网页 数据库：MySql5.7 开发环境：IDEA+PyCharm
参考文献：
[1] 涂子沛.大数据:正在到来的数据革命，以及它如何改变政府、商业与我们的生活.桂林:广西师范大学出版社, 2013: 90~92 [2] 焦玮,陈弯弯,张翔.对大学生就业市场的理论探究―—基于信息不对称的视角.中国集体经济,2012(4): 182~184 [3] Tom White. Hadoop权威指南:大数据的存储与分析.第四版.王海,华东，刘喻，吕粤海.北京:清华大学出版社, 2017: 1~4 [4] Wang,H.,Z.Xu, et al.An overview on the roles of fuzzy set techniques in big dataprocessing: Trends, challenges and opportunities. Knowledge-Based Systems, 2016.118(C): 15~30 [5] Coulouris G , Dollimore J , Kindberg T, et al.分布式系统概念与设计.第五版.金蓓弘，马应龙等.北京:机械工业出版社,2013:4~7 [6] 赵勇.架构大数据:大数据技术及算法解析.北京:电子工业出版社,2015:13~18 [7] Wang J , Liu J , Higgs R , et al. The Application of Data Mining Technology to BigData. in: Randall Bilof ed. IEEE International Conference on ComputationalScience & Engineering.Guangzhou. 2017. Guangzhou: IEEE, 2017.284~288 [8] 孙睿．大数据技术在互联网金融中的运用.电子技术与软件工程，2018(10):182~183 [9] 邰宇. Web数据挖掘技术在电子商务中的应用研究.中国新技术新产品,2016(2):21~21 [10] Anagnostopoulos I , Zeadally S, Exposito E. Handling big data: researchchallenges and future directions. The Journal of Supercomputing, 2016.72(4):1494~1516
