当前位置： 首页 > news >正文

校园网站建设检查自评报告wordpress做后端

news 2025/10/1 2:05:14
校园网站建设检查自评报告,wordpress做后端,网站开发毕业周记,手机怎么安装网站程序目录 任务目标 创建Ajax网站 创建服务器程序 Selenium XX 等待 1. Selenium强制等待 2. Selenium隐性等待 3. Selenium循环等待 4. Selenium显示等待 等待方法 任务目标 在浏览器加载网页的过程中，网页的有些元素时常会有延迟的现象，在HTML元素…

目录

任务目标

创建Ajax网站

创建服务器程序

Selenium XX 等待

1. Selenium强制等待

2. Selenium隐性等待

3. Selenium循环等待

4. Selenium显示等待

等待方法

任务目标

  • 在浏览器加载网页的过程中，网页的有些元素时常会有延迟的现象，在HTML元素还没有准备好的情况下去操作这个HTML元素必然会出现错误，这个时候Selenium需要等待HTML元素。例如：上节实例中出现的select的下拉框元素，选项填充需要执行JavaScript脚本。
  • 我们来学习如果使用Selenium等待延迟的HTML元素并最终爬取元素的数据。

创建Ajax网站

phone.html 如下：

注：phone.html 文件要位于 templates 这个目录下

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><meta name="viewport" content="width=device-width, initial-scale=1.0"><title>Document</title>
</head>
<body><form name="frm" action="/"><div><span id="msg"></span><label for="xmark"></label><select id="xmark"></select></div><input type="submit" value="提交" id="submit" disabled="true"></form>
</body>
<script>function loadMarks(){var http=new XMLHttpRequest(); http.open("get","/marks",true);http.send(null);http.onreadystatechange=function(){// onreadystatechange存储函数，每当 readyState 属性改变时，就会触发调用该函数。// readystate存有 XMLHttpRequest 的状态。从 0 到 4 发生变化。// 0: 请求未初始化    1: 服务器连接已建立     2: 请求已接收    3: 请求处理中    4: 请求已完成，且响应已就绪// status，200（OK），404（未找到页面）if (http.readyState===4 && http.status===200){ //请求完成并且成功返回var xmark=document.getElementById("xmark"); var xcolor=document.getElementById("xcolor"); marks=eval("("+http.responseText+")");// JS中将JSON的字符串解析成JS对象格式for(var i=0;i<marks.length;i++) xmark.options.add(new Option(marks[i],marks[i])); document.getElementById("submit").disabled=false;document.getElementById("msg").innerHTML="品牌";}};}loadMarks();
</script>
</html>

创建服务器程序

服务器server.py程序如下：

import flask
import json
import timeapp = flask.Flask(__name__)@app.route("/")
def index():return flask.render_template("phone.html")@app.route("/marks")
def loadMarks():time.sleep(1)marks = ["华为", "苹果", "三星"]return json.dumps(marks)  # 将JSON的对象格式转化成str格式app.run()

模拟网站结果如下：

Selenium XX 等待

1. Selenium强制等待

必须等待的时间，缺点：不能准确把握需要等待的时间（有时操作还未完成，等待就结束了，导致报错；有时操作已经完成了，但等待时间还没有到，浪费时间），如果在用例中大量使用，会浪费不必要的等待时间，影响测试用例的执行效率。

from selenium import webdriver
from selenium.webdriver.common.by import By
import timedriver = webdriver.Chrome()
driver.get("http://127.0.0.1:5000")# 设置强制等待1.5秒，
time.sleep(1.5)marks = driver.find_elements(By.XPATH, "//select/option")
print("品牌数量:", len(marks))
for mark in marks:print(mark.text)
form = driver.find_element(By.XPATH, "//form")
print(form.get_attribute("innerHTML").strip())
time.sleep(5)
driver.close()

2. Selenium隐性等待

该方法是浏览器对象调用的方法，即设置浏览器打开网页均等待的时长， 同样如果设置的隐性等待时间不够长， 还是爬取不到需要的数据。

from selenium import webdriver
from selenium.webdriver.common.by import By
import timedriver = webdriver.Chrome()# 设置隐性加载时间1.5秒，即网页在加载时最长等待 seconds 秒
driver.implicitly_wait(1.5)driver.get("http://127.0.0.1:5000")
marks = driver.find_elements(By.XPATH, "//select/option")
print("品牌数量:", len(marks))
for mark in marks:print(mark.text)
form = driver.find_element(By.XPATH, "//form")
print(form.get_attribute("innerHTML").strip())
time.sleep(5)
driver.close()

3. Selenium循环等待

循环等待 实际上这个爬虫程序能否爬到数据的关键是<select>中是否已经出现了<option>元素，我们可以设置一个循环来判断是否有<option>元素

from selenium import webdriver
from selenium.webdriver.common.by import By
import timedriver = webdriver.Chrome()
try:driver.get("http://127.0.0.1:5000")waitTime = 0while waitTime < 10:marks = driver.find_elements(By.XPATH, "//select/option")if len(marks) > 0:breaktime.sleep(0.5)waitTime += 0.5if waitTime >= 10:raise Exception("Waiting time out")marks = driver.find_elements(By.XPATH, "//select/option")print("品牌数量:", len(marks))for mark in marks:print(mark.text)form = driver.find_element(By.XPATH, "//form")print(form.get_attribute("innerHTML").strip())
except Exception as err:print(err)
time.sleep(5)
driver.close()

循环等待 实际上这个爬虫程序能否爬到数据的关键是<select>中是否已经出现了<option>元素，我们可以设置一个循环来判断是否有<option>元素。 这个程序中使用 waitTime 变量来构造一个循环，它最长等待 10 秒，每间隔 0.5 秒就检查一次<select>中是否有<option>存在，如果找到了<option>元素就退出等待循环，不然就继续等待直到<option>出现为止，如果 10 秒内还没有出现据抛出异常。

4. Selenium显示等待

from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import Bydriver = webdriver.Chrome()
try:driver.get("http://127.0.0.1:5000")# 显示等待locator = (By.XPATH, "//select/option")WebDriverWait(driver, 10, 0.5).until(EC.presence_of_element_located(locator))marks = driver.find_elements(By.XPATH, "//select/option")print("品牌数量:", len(marks))for mark in marks:print(mark.text)form = driver.find_element(By.XPATH, "//form")print(form.get_attribute("innerHTML").strip())
except Exception as err:print(err)

构造一个定位元素的 locator 的对象，例如通过 XPath 的方法定位<select>中的<option>元素：

locator=(By.XPATH,"//select/option")

使用 WebDriverWait 构造一个实例，调用 until 方法：

WebDriverWait(driver, 10,0.5).until(EC.presence_of_element_located(locator))

这条语句的含义是等待 locator 指定的元素出现，最长等待 10 秒，每间隔 0.5 秒就出现检查一次。如果在 10 秒内出现了该元素就是结束等待，否则就抛出一个异常，默认抛出异常为：NoSuchElementException。

这种等待的优点：等待判断准确，不会浪费多余的等待时间，在实际中使用可以提高执行效率。

等待方法

1. EC.presence_of_element_located(locator)

这种形式是 等待 locator指定的元素 出现 ，也就是HTML文档中建立起了这个元素。

2. EC.visibility_of_element_located(locator)

这种形式是 等待 locator指定的元素 可见 ，注意元素出现时未见得可见，

例如：

<select id="xmark" style="display:none">...</select>

那么元素<select>是出现的但是不可见。

3. EC.element_to_be_clickable(locator)

这种形式是 等待 locator指定的元素 可以被点击，

例如，在爬虫程序中等待 <input type="submit"> 按钮可用被点击：

locator = (By.XPATH, "//input[@type='submit']")

WebDriverWait(driver, 10,0.5).until(EC.element_to_be_clickable(locator))

或者等待 <option> 是否可以被点击： locator = (By.XPATH, "//select/option") WebDriverWait(driver,10,0.5).until(EC.element_to_be_clickable(locator))

使用这两种方法都可以爬取到手机品牌数据。

但是注意使用： locator = (By.XPATH, "//select") WebDriverWait(driver,10,0.5).until(EC.element_to_be_clickable(locator))

是等待<select>是否可以点击，这个元素就是没有<option>时也是可以点击的，因此用这个等待是爬取不到手机的品牌数据的。

4. EC.element_located_to_be_selected(locator)

这种形式是 等待 locator指定的元素 可以被选择，可以被选择的元素一般是<select>中的选项<option>、输入的多选框 <input type="checkbox"> 以及输入的单选框 <input type="radio">等元素。

locator = (By.XPATH, "//select/option")

WebDriverWait(driver, 10,0.5).until(EC.element_located_to_be_selected(locator))

同样能爬取到手机的品牌数据。

但是使用下列是不行的：

locator = (By.XPATH, "//input[@type='submit']")

WebDriverWait(driver,   10,0.5).until(EC.element_located_to_be_selected(locator))

因为这样的 <input type='submit'> 是怎么样也不可以选择的。

5. EC.text_to_be_present_in_element(locator,text)

这种形式是等待 locator 指定的元素的文本中包含指定的text文本，例如爬虫程序中使用下列的等待：

locator = (By.ID, "msg")

WebDriverWait(driver, 10,0.5).until(EC.text_to_be_present_in_element(locator,"品"))

即等待<span id="msg">......</span>元素中的文本包含"品"字，由于在<option>出现后设置文本是"品牌"，因此爬虫程序可以爬取到手机品牌数据。

下一篇文章：实验项目一：【文本反爬网站的分析和爬取】

http://www.laogonggong.com/news/66384.html

相关文章：

  • 东盟建设工程有限公司网站网站图片加载优化
  • 建e网3d模型库手机端网站优化怎么做
  • 响应式酒店网站模板淘点金wordpress插件
  • 如何建立自己的网络销售郑州优化网站 优帮云
  • 怎么样可以自己做网站东莞公司网站怎么做
  • 微信群推广平台有哪些企业seo优化方案
  • 网站开发专员岗位职责网站开发运营成本
  • 加强企业网站建设哪家企业的网站做的好
  • 全国网站开发WordPress手机菜单样式修改
  • 网站进入之前动态效果网站的设计方法有哪些
  • 专业做网站的企业网站建设零金手指花总
  • 网站建设公司的销售好做吗免费x网站域名视频
  • 石家庄的网站公司深圳英文网站开发
  • 智慧团建网站登录平台手机版上海大金空调网站建设
  • 昌平哪有做网站的公司手机网站建设方案书
  • 做爰的细节描述和过程网站jw网站设计
  • 网站如果实现微信支付内蒙网站建设赫伟创意星空科技
  • 企业门户网站的主要技术指标网站建设需求范本
  • 购物网站设计会员管理模块河北住建局与建设厅网站
  • 360提交网站备案wordpress首页页面设置
  • 宁波小型建网站公司毕设做网站些什么比较简单
  • 什么公司需要网站建设省财政厅门户网站三基建设
  • 天津滨海新区小程序网站建设网上做代卖的网站
  • 建设网站有哪些术语西安网站制作公司排名
  • 做爰视频网站在线看邮箱号码大全
  • 做网站要会哪些知识郑州新闻最新消息新闻
  • 自己怎样做免费网站软件技术好找工作吗
  • 常州做网站基本流程网站优化软件破解版
  • 手机网站开发语言选择wordpress 在线运行
  • 阜新网站优化wordpress支持php