一个属于你的次元网络基地
 
昨日:篇  今日:篇   总帖:篇   会员:
今日:0
文章:78
今日:0
文章:13
今日:0
文章:9
今日:0
文章:137
今日:0
文章:30
今日:0
文章:63
今日:0
文章:19
今日:0    总帖:877
wolfman
2967
前言XSS 自动点按钮有什么危害?在社交网络里,很多操作都是通过点击按钮发起的,例如发表留言。假如留言系统有 XSS 漏洞,用户中招后 XSS 除了攻击之外,还能进行传播 —— 它能自动填入留言内容,并点击发表按钮,即可发出带有恶意代码的留言。好友看了中招后,又传播给他们的好友。。。从而形成蠕虫扩散。那么,有没有一种机制,让「发表留言」必须通过用户的「真实点击」按钮才能完成,而无法通过脚本自动实现?这样就能减缓蠕虫传播速度了。实现这个想法听起来好像不可行。如果发表留言需要带上用户行为信息,那么 XSS 完全可以伪造一份行为数据,后端根本无法识别。除非,用户在点击按钮时会产生一个「特殊数据」,让后端校验它。但是,XSS 也可以直接调用按钮元素的 click 方法,这样效果和用户点击仍然一样。后端仍无法识别,是脚本点的,还是用户点的。这么看来,我们只能保护好这个「按钮元素」,让它没法被 XSS 访问到。例如,放在一个不同源的 iframe 里,这样就和 XSS 所在的环境隔离了!不过,这样还不够。假如 XSS 破解了这个「特殊数据」的生成规则,那么即可自己伪造一个,然后直接调用 HTTP 接口发表留言。所以,我们得找一个不可伪造的硬标识。事实上,有个很简单的办法:我们干脆让 HTTP 请求也通过 iframe 发送。这样,后端通过 referer 即可检测请求是否为 iframe 发起的。毕竟,XSS 是无法伪造 referer 的!演示Demo: http://www.etherdream.com/FunnyScript/anti-xssworm/注意:这个案例不是看能不能注入 XSS,而是看能不能通过当前页面的 JS 自动发留言!另外,通过第三方服务器发表是不算的。这里为简单,省略了登录态;真实场合下,会话 Cookie 是 HttpOnly 的,无法被 JS 获取到,也就无法让第三方服务器代替发表。细节:1. 使用者加载 safebutton.js,引入 SafeButton 类2. 使用者实例化 SafeButton 对象 A,创建出一个不同源的 iframe 作为按钮界面3. 用户点击 iframe 按钮后,内部变量 S 置为 true,同时将点击消息告知主页面(postMessage)4. 主页面收到消息后,让 A 产生 onclick 事件5. 使用者将 HTTP 请求数据,通过 A 的 send 方法扔给 iframe6. iframe 校验内部变量 S:若为 true,则将数据通过 AJAX 发送;否则放弃7. 服务器校验 referer:若为 iframe 的地址,则继续业务逻辑;否则放弃8. iframe 收到 AJAX 返回后,将结果扔给主页面9. A 产生 onreceive 事件,其中包含 HTTP 返回结果其中 No.6 的步骤最为关键。正是这一步,使得未经用户点击,XSS 强制扔给 iframe 的消息变得无效!缺陷当然,这个方案阻挡不了点击劫持 —— XSS 可以把 iframe 元素放大至整个页面,并设置全透明。这样用户只要在页面的任何位置点一下,iframe 的 S 状态就变成 true 了,于是就能绕过 No.6。结尾当然,安全防御有胜于无。并且该方案的改造成本也不是很大,后端只是增加一个 referer 判断而已;前端也只需改造个别按钮,例如发帖按钮,像点赞这种按钮就没必要保护了。
文章资讯 7 0 2465天前
wolfman
2916
微软6月补丁日披露两个正在被利用的远程代码执行漏洞(CVE-2017-8543)Windows Search远程代码执行漏洞和(CVE-2017-8464)LNK文件(快捷方式)远程代码执行漏洞。漏洞名称:Windows Search远程代码执行漏洞漏洞编号:CVE-2017-8543漏洞等级:严重漏洞概要:Windows搜索服务(WSS)是windows的一项默认启用的基本服务。允许用户在多个Windows服务和客户端之间进行搜索。当Windows搜索处理内存中的对象时,存在远程执行代码漏洞。成功利用此漏洞的攻击者可以控制受影响的系统。为了利用此漏洞,攻击者可以向Windows Search服务发送精心构造的SMB消息。从而利用此漏洞提升权限并控制计算机。此外,在企业场景中,未经身份验证的攻击者可以通过SMB服务连接远程触发漏洞,然后控制目标计算机。受影响版本桌面系统:Windows 10, 7, 8, 8.1, Vista, Xp和Windows RT 8.1服务器系统:Windows Server 2016,2012,2008, 2003修复方案:桌面系统Windows 10, 7, 8.1和Windows RT 8.1;服务器系统:Windows Server 2016,2012,2008,可以通过Windows Update自动更新微软补丁的方式进行修复。Windows 8, Vista, Xp和Windows Server 2003 可以通过选择对应版本然后手动更新补丁的方式进行更新(补丁下载地址参考)https://support.microsoft.com/zh-cn/help/4025687/microsoft-security-advisory-4025685-guidance-for-older-platforms漏洞名称:LNK文件(快捷方式)远程代码执行漏洞漏洞编号:CVE-2017-8464漏洞等级:严重漏洞概要:如果用户打开攻击者精心构造的恶意LNK文件,则会造成远程代码执行。成功利用此漏洞的攻击者可以获得与本地用户相同的用户权限。攻击者可以通过可移动驱动器(U盘)或远程共享等方式将包含恶意LNK文件和与之相关的恶意二进制文件传播给用户。当用户通过Windows资源管理器或任何能够解析LNK文件的程序打开恶意的LNK文件时,与之关联的恶意二进制代码将在目标系统上执行。受影响版本桌面系统:Windows 10, 7, 8.1, 8, Vista和Windows RT 8.1服务器系统:Windows Server 2016,2012,2008修复方案:桌面系统Windows 10,7,8.1和Windows RT 8.1;服务器系统:Windows Server 2016,2012,2008,可以通过Windows Update自动更新微软补丁的方式进行修复。Windows 8, Vista可以通过选择对应版本然后手动更新补丁的方式进行更新(补丁下载地址参考)https://support.microsoft.com/zh-cn/help/4025687/microsoft-security-advisory-4025685-guidance-for-older-platforms
文章资讯 4 0 2465天前
wolfman
3384
一、概要这两年,互联网上涌现了很多政府和企业的敏感数据泄露,但这些由不明行为者泄漏的信息是否准确呢?前不久,安全研究人员发现了一个复杂的全球性虚假信息泄密活动,据分析,这次虚假泄密与黑客组织APT28之前所从事的网络间谍活动存在“重叠”之处。APT28又叫Fancy Bear、Sofacy、Sednit或Pawn Storm,是美国民主党全国委员会(DNC)信息泄密事件的幕后主犯。 自2007年以来,APT28一直较为活跃,据称暗中受到俄罗斯政府的支持。虽然没有确凿证据表明俄罗斯政府直接参与虚假泄密,但也可以说俄罗斯与此次虚假泄密有着千丝万缕的关联。二、虚假泄密多伦多大学蒙克国际研究中心的Citizen Lab近日公布了一份名为《污点泄密》的报告,报告指出,俄罗斯政府赞助的黑客攻击200多名Gmail用户(包括记者、俄罗斯政府评论家以及与乌克兰军方有关的用户等),窃取电子邮件中的敏感信息。窃取到邮件之后,黑客对内容进行选择性修改,随后将选择性修改的邮件内容公之于众。黑客窃取知名记者、政治家等的文件,选择性修改文件,之后故意“泄露”出去,败坏他们的声誉。”黑客利用Google自带的安全服务展开钓鱼攻击报告指出,黑客利用Google自带的安全服务,使用钓鱼邮件从目标用户(前美国国防官员、前俄罗斯总理以及乌克兰军方官员等)那里窃取Gmail登录凭证。攻击者发送的钓鱼邮件看起来与Google的安全警告几乎相同,提示受害者有人获得了该账户的密码,为安全考虑,受害者必须立即更改密码。但是,一旦受害者访问了链接并输入账号密码登录,黑客就可以访问他们的帐户。黑客综合利用了Google AMP的开放重定向功能和短URL功能,将钓鱼页面隐藏在短URL中,使得钓鱼链接很有迷惑性,引导受害者输入登录凭证。钓鱼链接如下:https://www.google.com/amp/tiny.cc/(redacted)一旦点击,就会重定向到如下页面:hxxp://myaccount.google.com-changepassword-securitypagesettingmyaccountgooglepagelogin.id833[.]ga/security/signinoptions/password上述URL看起来像Google的密码重置页面,用户只要输入密码,就会被攻击者捕捉到登录信息。研究人员分析了美国记者兼俄罗斯政府评论家David Satter收到的两封钓鱼邮件,从而确定了这一攻击的性质。Satter曾报道了多起俄罗斯政治家和企业家的腐败事件,在2013年就被俄罗斯发布禁令,无法进入俄罗斯境内。下图是相关邮件的钓鱼链接列表:波及39个国家218名用户自述为亲俄派的黑客团体CyberBerkut发表了一些从Satter电子邮件中获得的文件,其中一个被篡改得面目全非,文件表明Satter付费支持俄罗斯记者和活动家发表批评俄罗斯政府的文章,暗示Satter是受美国中情局支持诋毁俄罗斯总统普京的,进而证明了美国中情局阴谋论。该文件随后由多家媒体公布,引起轩然大波。包括Satter在内共有218人遭到同样的网络钓鱼攻击,包括政治家、其他政府官员、欧洲和欧亚大陆的组织成员、记者、学者、能源和矿业公司的CEO、联合国官员以及高级军事人员等,波及到美国和北约等39个国家或组织。以下是研究人员发布的部分遭受攻击的知名目标:前俄罗斯总理前美国国防部副部长暨美国前国家安全委员会高级主任奥地利驻北欧大使暨前欧亚驻加拿大大使馆大使前苏维埃国家石油、天然气、矿业和金融业的高级成员联合国官员阿尔巴尼亚、亚美尼亚、阿塞拜疆、格鲁吉亚、希腊、拉脱维亚、黑山、莫桑比克、巴基斯坦、沙特阿拉伯、瑞典、土耳其、乌克兰和美国的军事人员以及北约官员来自阿富汗、亚美尼亚、奥地利、柬埔寨、埃及、格鲁吉亚、哈萨克斯坦、吉尔吉斯斯坦、拉脱维亚、秘鲁、俄罗斯、斯洛伐克、斯洛维尼亚、苏丹、泰国、土耳其、乌克兰、乌兹别克斯坦和越南等地的政治家、公务员和政府官员除了政府这一大团体外,包括记者,学者,反对派人士和积极分子等在内的公民社会是此次虚假泄密攻击的第二大团体的目标(占所有受攻击者的21%)。三、虚假泄密早已存在报告显示,此次攻击中用到的技术和方法与2016年美国总统大选攻击和最近法国总统大选攻击中用到的技术和方法类似。“2017年法国总统大选中,虚假泄密也用于诋毁参选的执政党和候选人。”美国情报官员以前就曾发现俄罗斯政府暗中支持对Podesta和其他民主党官员的攻击。而Citizen Lab的报告也表示,俄罗斯政府在暗中支持最近的网络钓鱼活动以及随后的Satter电子邮件操纵事件。“在强调了这一攻击与以前报道过的攻击的相似处之后,我们列举了在2016年美国总统大选期间引人注目的针对记者、反对派组织和民间社会的相关攻击,进而展示了一系列与俄罗斯相关的攻击。”事实上,安全研究人员在2016年10月份就检测到了类似的虚假泄密攻击,但是在此之前,此类攻击早已存在。例如,在瑞典与北约建立军事伙伴关系事件中以及俄罗斯入侵乌克兰事件中,俄罗斯已经使用伪造文件展开广泛的虚假泄密攻击了。研究人员甚至表示:俄罗斯在所谓的“dezinformatsiya”(虚假信息泄露)方面有丰富的经验与悠久的历史,,甚至可以追溯到苏联时代。四、虚假泄密或将成为新的威胁?伪造上千份文档也许很难,但是在已经写好的单份文件中加入一些伪造的信息却比较简单。一个国家可以匿名披露另一个国家的外交电报,并在电报中加入一些针对第三方国家的恶意对话,进而挑拨两国之间的关系;或者黑客可以从气候变化研究者那里窃取和发布电子邮件,并捏造一些超越气象消息的信息,进而强化该研究者的政治观念;甚至个人也会受到影响,其朋友、爱人、亲戚的邮件内容都有可能被篡改,进而影响亲密关系。如果你急着解释,说其他邮件都是真实的,就这封被泄露的邮件内容是虚假的,你觉得别人会相信么?并不会,而这也正是虚假泄露的可怕与狡黠之处。Citizen Lab的研究人员总结说:“虚假泄密对于网络攻击而言越来越重要,而且在如今的数字化时代中可能会变得更加普遍。”“虚假泄密就像在真相的森林中放入一些假木头,可以测试媒体、公民新闻和社交媒体用户如何判定事实,如何应对并处理充满诱惑性但又可疑的信息。”趋势科技也针对虚假泄密做了研究,他们总结了虚假泄密三要素:动机;工具与服务;社交网络。利用社会工程技术可以在社交网络上传播虚假消息。尽管目前虚假泄密主要集中于政治领域,但未来也很有可能在其他领域(如商业等利益相关的领域)大范围出现。关于虚假泄密影响股价的例子,可以追溯到2013年。当年,叙利亚电子军队黑掉了美联社的推特账户,声称奥巴马在白宫遭到炮弹袭击,当时美股市场瞬间大幅下跌。此外,国外有Twitter、Facebook等,国内有微博、微信等,都曾大肆传播过假消息,对个人或者公司的声誉造成了很多负面影响。明星因为假消息而受到网络攻击最后患病甚至过世的极端例子也并非耸人听闻。毕竟,自古以来就有很多流言蜚语、恶意中伤的事件。著名的销售人员Seth Godin曾说过:“销售,不只是卖产品,更多的是卖故事。”而这故事到底是否真实,估计只有讲故事的人才知道吧。那么下一次,当你遇到影响广泛的数据泄露事件时,你是会直接相信还是保留态度呢?五、关于《污点泄密》报告随着虚假泄密事件愈演愈烈,多伦多大学蒙克国际研究中心的Citizen Lab于2017年5月25日发布了一篇报告,从美国记者兼俄罗斯政府评论家David Satter的邮件入侵着手,深入分析了虚假泄密的方方面面。以下是该报告的要点:黑客窃取并篡改知名记者及俄罗斯政府评论家的文件,然后以“泄漏”的方式发布文件,进而诋毁国内外的政府评论家。这样的攻击方式被 定义为“污点泄密”技术。我们顺藤摸瓜,从此次针对记者的攻击着手调查,进而发现了更大规模的网络钓鱼行动,来自39个国家(包括28个政府成员)超过200名特殊目标遭受攻击。受攻击目标包括前俄罗斯总理、欧洲和欧亚大陆的组织成员、大使、高级军官、能源公司的CEO和民间社会的成员等。除了政府这一大团体外,包括学者、记者、积极分子和非政府组织成员等在内的公民社会是此次虚假泄密攻击的第二大团体目标(占所有受攻击者的21%)。没有确凿的证据表明将这些攻击与特定的俄罗斯政府机构联系起来;然而,有证据表明,此次大规模虚假泄密活动与此前许多政府和企业报道过的俄罗斯支持的攻击活动存在明显重合。
文章资讯 6 0 2465天前
wolfman
3057
SQL注入(SQLi)利用不安全 Web App 和数据库驱动的类似软件,抽取或篡改数据(如用户账户记录),甚至在服务器上执行Shell指令。这是合法用户和攻击者提交的代码,没有经过验证和清晰所导致的结果。被攻击软件或许期待的是一个订单号,而黑客发过去的却是一条SQL语句,而这恶意代码片段被包含到接下来的数据库查询中,让服务器按黑客的指令吐出敏感数据或执行他/她期待的动作。据所掌握的信息可知,用户可租用喀秋莎扫描器专业版(Katyusha Scanner Pro)每月200美元租金;或者在自己的系统上安装一个,500美元。该软件使用免费渗透测试工具Anarchi扫描器对网站执行SQLi攻击。最重要的是,它能通过Telegram即时消息系统进行控制。所以,基本上,用户可以在联网服务器上执行喀秋莎——无论是租用还是自己安装,然后用Telegram发送指令——比如攻击somepoorbastard.biz或mydietpillsnotascam.org之类的网站,直到命中一个有漏洞的网站。如果有专业版,还可以自动抽取登录凭证和内部数据库内容。轻量级版本也可用——只要你觉得自己可以利用任何已知漏洞。这基本上意味着,没有技术背景的罪犯,也能很容易地用手机对无数公司企业发起攻击。如上所述,可通过Web门户控制,也可以通过Telegram文字消息控制。威胁情报公司 Recorded Future 的研究人员,是在暗网最封闭的隐藏黑客论坛上发现该软件包的售卖的。Recorded Future 在博客中解释称:“在黑客过程可通过标准Web接口控制的同时,喀秋莎扫描器的独特功能,还能让罪犯上传目标网站列表,对多个目标发起同步攻击,通过Telegram并行无缝地进行控制。”该技术受到了脚本小子的一致好评,其专业的客户支持也收到了极高赞誉。当然,经验老道的网络罪犯,也可以在他们的智能手机或平板上用SSH隧道做到这些;但喀秋莎实在是太易用了——令人担忧的地方正在于此。攻击演示:某人通过telegram控制喀秋莎扫描完成后,喀秋莎会对每个发现的目标显示Alexa网站评级,提供所发现Web安全漏洞的潜在重要性与利用可能性指南。喀秋莎扫描器这种高度健壮又不贵的在线工具,降低了网络攻击的技术门槛,只会进一步恶化各公司遭受的数据泄露问题,凸显出定期基础设施安全审计的重要性。信息安全厂商 Positive Technologies 的一份调查研究显示,2017年第一季度流传最广的攻击形式就是SQLi和跨站脚本攻击,各占被检测攻击总数的1/3。该报告将政府机构的Web应用列为了黑客首要攻击目标,其后是IT公司和金融机构,教育机构排在第四位。注:喀秋莎这个工具名,映射的是苏联在二战期间研发的一款标志性多管火箭发射器,以其隐秘性和破坏性成为了纳粹军队的噩梦。
文章资讯 8 0 2465天前
wolfman
3104
现如今,很多人家里都装有智能摄像头。下载一个相关联的应用程序,可以随时用手机看看家里的情况。比如老人独自在家是否安全,保姆带娃是否尽责,有没有进小偷之类的。你是否会想到,除了你,可能此刻还有成百上千双陌生的眼睛,也在看着你家。在QQ搜索栏,输入“摄像头破解”,跳出了众多相关聊天群,随机加入了几个,发现聊天的内容绝大多数有关家庭摄像隐私。时不时会放出一些号称他人家庭摄像头拍下的画面。很快,不少人主动添加记者为好友,询问是否需要扫描软件,并声称这些扫描软件,能够攻破摄像头的IP地址。聊天截图只要将被破解的IP地址输入播放软件,就可以实现偷窥,不被觉察。印象中只有电影中的特工或黑客才能做到的事情,竟然可以这么简单地实现吗?记者决定尝试一下。向其中一个卖家支付188元后,收到了两款软件和详细的使用教程。摄像头下的孩子记者在播放软件中,输入卖家提供的IP地址、登录名和密码,竟然成功进入了一个摄像头。这是一户人家,画面显示的是客厅,一只小狗正在窝里睡觉。卖家称,这家住着一对小夫妻,安摄像头的目的,应该就是观看这条宠物狗。卖家还向提供了大量IP账号。为了辨别画面中的影像是否实时影像,记者再次登录一个账号,进入了另一个摄像头。居然真的可以实现远程操作。而在一些QQ群内,IP地址会被群主作为聚拢人气的礼物,免费向群员发放。在这个近2000人的QQ群中,每天都会新增一份最新破解文件,包含200到400个IP地址。每份都被下载了几百次。群中被标价出售的,是涉及年轻女性、夫妻生活的摄像头,它们被隐晦地称为“精品台”,每个被卖到几十元乃至上百元。这位叫“大胆吻下去”的卖家告诉记者,今天靠卖号已经赚了500多元。他有几十个徒弟,如果拜他为师,一个月收入上万并不难。记者找到了一个可被攻破的IP地址,并联系上这家摄像头的主人。记者:请问您家是否有个小书柜,上面有个五星红旗图案的贴纸?户主:对。记者:里面有几个奥运福娃的可乐罐?户主:对。这信息随便在网上能找到的对吗?记者:对,我是在网上找到的。户主:等于谁都能看到的是吗?记者:如果有心搜索,可以看到。户主:天啊,那不是谁都能看到我家,看到我家什么样子的吗?这也太不安全了吧!目前,记者已将自己获知的材料向警方进行了举报。但是,智能摄像头的IP地址是怎么落到别人手中,而登录的密码怎么也会一同泄露呢?记者来到国家互联网应急中心寻求答案。卖家提供的扫描软件,启动后,它会源源不断地跳出IP地址,这种扫描是通过什么原理来进行的呢?专家称主要是依靠扫描器,用一些弱口令密码,做大范围的扫描。弱口令就是一些user或者admin。专家介绍,不光是个人购买的摄像头是这样,在用于城市管理,交通监测的公共摄像头中,也大量存在使用弱口令便可以打开的问题,因此,这类摄像头很容易被入侵。日前,国家互联网应急中心,在市场占有率排名前五的智能摄像头品牌中,随机挑选了两家,进行了弱口令漏洞分布的全国性监测。结果令人惊讶,仅仅两个品牌的摄像头,就有十几万个存在着弱口令漏洞。监控平台弱口令漏洞频发,这是一种世界级的普遍现象。通过智能家用摄像头窃取他人隐私会触碰哪些法律红线?应该承担什么法律责任?非法的技术侵入到他人的家庭生活场景,衣衫不整,一般性的生活场景,在民法上侵犯他人的隐私权。这也会涉嫌到刑事责任的问题。个人的行踪轨迹,属于个人信息的核心内容。一旦非法获取、出售或者提供50条以上,就已经触犯了《侵犯公民个人信息罪》。而截取家庭摄像头中的性行为进行展示的,制作、传播到一定数量,就构成传播淫秽物品罪;如果传播者因此牟利,并达到一定数量,将构成传播淫秽物品牟利罪。如何安全使用智能摄像头,专家重要提示:第一,不要使用原始预设的、或过于简单的用户名与密码,而且要定期作出更换。第二,摄像头不要正对卧室、浴室等隐私区域;并要经常检查,摄像头的角度是否发生变化。第三,养成定期查杀病毒的好习惯。
文章资讯 6 0 2465天前
wolfman
3134
我开通了一个独立IP LINUX空间,空间支持伪静态功能。由于网站根目录下安装的是bbs,目录下安装的是网址导航,虚拟主机只支持根目录绑定域名,如何让网站支持二级域名呢?下面我教你利用.htaccess实现一个网站空间可以用多个二级域名指向多个二级目录,建立多个网站。以独立IP虚拟主机为例:一、将域名做一个解析到你的空间IP,不需要绑定域名就可以访问网站。二、打开记事本将以下代码复制进去,保存为.htaccess文件,上传到根目录下。RewriteCond %{HTTP_HOST} ^daohang.mosq.cn$ RewriteCond %{REQUEST_URI} !^/daohang/ RewriteCond %{REQUEST_FILENAME} !-f RewriteCond %{REQUEST_FILENAME} !-d RewriteRule ^(.*)$ /daohang/$1 RewriteCond %{HTTP_HOST} ^daohang.mosq.cn$ RewriteRule ^(/)?$ daohang/index.php [L]
经验教程 6 0 2465天前
wolfman
2556
您需要登录并回复后才可以查看该文章内容
经验教程 23 2 2465天前
wolfman
2780
您需要登录并回复后才可以查看该文章内容
经验教程 6 0 2465天前
wolfman
3552
刚开始看爬虫文章的时候,走了不少弯路,我希望我的文章能给你带来一些启发本文涉及到的技能查看网页源代码和检查元素requests使用BeautifulSoup使用这三招就是爬取简单网站的全部招数,跟着思路往下看查看网页源代码和检查元素不要觉得很简单,这两招是爬虫的基础。如果你熟悉这两招,简单网站的爬虫,你就学会了一半。一般来说,检查元素中看到的内容都会在网页源代码中出现。今天我选取的这个例子,情况特殊,检查元素中看到的内容部分会在网页源代码中出现爬北京的白天和夜间温度北京天气的网址:http://www.weather.com.cn/weather1d/101010100.shtml下面是源代码,我会有注释的,跟着一起读一读Talk is cheap. Show you the code# -*- coding: utf-8 -*- __author__ = 'duohappy' import requests # 导入requests模块 from bs4 import BeautifulSoup # 从bs4包中导入BeautifulSoup模块 # 设置请求头 # 更换一下爬虫的User-Agent,这是最常规的爬虫设置 headers = {"User-Agent":'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/57.0.2987.110 Safari/537.36'} # 需要爬取的网址 url ="http://www.weather.com.cn/weather1d/101010100.shtml" # 发送请求,获取的一个Response对象 web_data = requests.get(url,headers=headers) # 设置web_data.text会采用web_data.encoding指定的编码,一般情况下不需要设置,requests会自动推断 # 鉴于网页大部分都是采取utf-8编码的,所以设置一下,省去一些麻烦 web_data.encoding = 'utf-8' # 得到网页源代码 content = web_data.text # 使用lxml解析器来创建Soup对象 soup = BeautifulSoup(content, 'lxml') # 为什么要创建一个Soup对象,还记得浏览器中的检查元素功能嘛 # Soup对象可以方便和浏览器中检查元素看到的内容建立联系,下面会有动画演示 # 使用css selector语法,获取白天和夜间温度,下面有动画演示 tag_list = soup.select('p.tem span') # tag_list[0]是一个bs4.element.Tag对象 # tag_list[0].text获得这个标签里的文本 day_temp = tag_list[0].text night_temp = tag_list[1].text print('白天温度为{0}℃\n晚上温度为{1}℃'.format(day_temp, night_temp))css seletor语法值得提出的是当搜索'p.temem'时,刚好有2个匹配的对象,分别对应白天温度和夜间温度,这一点非常重要,如果匹配个数大于或者小于2,那么说明你的css selector写错了爬多个城市的白天和夜间温度搜索不同的城市天气,观察网址的变化。观察网址的变化是爬虫中最主要的本领之一# -*- coding: utf-8 -*- __author__ = 'duohappy' import requests from bs4 import BeautifulSoup headers = {"User-Agent":'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/57.0.2987.110 Safari/537.36'} # 建立城市和网址特殊部分的对应关系 weather_code = {'北京':'101010100','上海':'101020100','深圳':'101280601', '广州':'101280101', '杭州':'101210101'} city = input('请输入城市名:') # 仅仅能输入北京,上海,广州,深圳,杭州 url ="http://www.weather.com.cn/weather1d/{}.shtml".format(weather_code[city]) web_data = requests.get(url,headers=headers) web_data.encoding = 'utf-8' content = web_data.text soup = BeautifulSoup(content, 'lxml') tag_list = soup.select('p.tem span') day_temp = tag_list[0].text night_temp = tag_list[1].text print('白天温度为{0}℃\n晚上温度为{1}℃'.format(day_temp, night_temp))
经验教程 3 0 2465天前
wolfman
3493
通用接口(高清)        解析地址乐视解析        http://apn.zhibo99.cn/mdparse/letv.php?id=通用解析        https://api.47ks.com/webcloud/?v=通用解析        http://api.mp4la.net/?url=通用解析        http://v.72du.com/api/?url=通用解析        http://api.47ks.com/webcloud/?v=通用解析        http://jx.71ki.com/index.php?url=通用解析        http://000o.cc/jx/ty.php?url=通用解析        http://www.yydy8.com/Common/?url=通用解析        http://yun.mt2t.com/yun?url=通用解析        http://api.mp4la.net/?url=通用解析        http://yyygwz.com/index.php?url=通用解析        http://v.72du.com/api/?url=通用解析        http://api.47ks.com/webcloud/?v=通用解析        http://jx.71ki.com/index.php?url=通用解析        http://www.97zxkan.com/jiexi/97zxkanapi.php?url=通用解析        http://www.wmxz.wang/video.php?url=通用解析        http://www.bbshanxiucao.top/video.php?url=通用解析        http://www.xiguaso.com/api/index.php?url=通用解析        http://www.kppev.cn/jiexi/5/1/1.php?url=通用解析        http://api.mp4la.net/?url=通用解析        http://v.72du.com/api/?url=通用解析        http://api.47ks.com/webcloud/?v=通用解析        http://jx.71ki.com/index.php?url=通用解析        http://000o.cc/jx/ty.php?url=通用解析        http://5qiyi.sdyhy.cn/5qiyi/5qiyi2.php?url=通用解析        http://vip.sdyhy.cn/ckflv/?url=通用解析        http://player.gakui.top/?url=通用解析        http://qtzr.net/s/?qt=通用解析        http://www.vipjiexi.com/yun.php?url=迅雷磁力链      http://apiv.ga/magnet/优酷云解析      http://api.baiyug.cn/vip/index.php?url=优酷云解析      http://977345961.kezi.wang/ykyun/c.php?vid=
资源共享 29 2 2465天前
加入官群 QQ咨询 友链展示 申请友链
粤ICP备18094291号
您的IP:18.118.200.136,2024-04-19 12:53:26,Processed in 0.265 second(s).
免责声明: 本网不承担任何由内容提供商提供的信息所引起的争议和法律责任。
Powered by HadSky 8.0.0