分类目录归档:未分类

Windows Server 2008 服务器重启后卡死在Windows Update 页面问题处理

服务器

  1. 服务器是联想RD640
  2. 操作系统Windows Server 2008 R2 Enterprise版
  3. 补丁版本是SP1
  4. 远程windows服务器时,一直处于远程建立连接的状态,也不提示远程失败,一直远程不上去
  5. 直接去机房本地连接键鼠和显示屏,无反应。
  6. 重启服务器一直卡在如配置Windows Update界面,等待半小时以上无法应,或者服务器自动重启,重启后再一次进入“准备配置Windows”界面如此反复。见下图。

问题描述

  1. 也有可能是配置windows百分比格式的进度显示,但是服务器也会自动重启,重启后再一次进入“准备配置Windows”界面如此反复。
  1. 重要:即使进入安全模式,也跳不过windows update这一关,只不过显示的界面是“配置Windows Update失败 还原配置 请勿关闭计算机”,此过程也会伴有重启现象。

问题分析

         出现该问题一般是由于,服务器没有关闭“Windows Update”,建议在服务器上设置更新机制为“从不检查更新(不推荐)”。禁用windows uopdate方法很多,也可以在服务列表中禁用windows update。

处理方法和思路

  1. 重启服务器按“F8”,选择“使用最近一次正确配置启动”。
  2. 重启服务器按“F8”,选择“修复计算机”。

         尝试前两种方法,均没能解决问题,最后只能使用第三种方法——通过各种方法关闭“Windows Update”。

关闭Windows Update

  1. 使用老毛桃,或者大白菜制作windows PE ,U盘启动盘。
  2. 将U盘插入服务器USB口,重启服务器。按F2进入boot,等待约3分钟会弹出一个选择启动方式的界面,选择带“UEFI+Upan名称的”选项,由此进入Windows PE。
  3. 删除“C:\Windows\SoftwareDistribution\Download\”目录下所有文件和“C:\Windows\winsxs\pending.xml”文件。如下图。
  1. 进入C:\Windows,点击regedit.exe。在注册表中做一下配置,关闭Windows Update。

依次点击如下如图所示路径

  1. 第2步:依次展开HKEY_CURRENT_USER \Software \Microsoft \Windows \CurrentVersion \Policies \Explorer项。
  2. 第3步:在右边窗口中新建一个DWORD值,将其命名为“NoWindowsUpdate”,然后将其数值数据修改为“1”,如下图所示。
  3. 4第4步:关闭注册表编辑器,然后重新启动电脑即可。       之后update就是下图:

在右侧空白区域,新建一个DWORD至,命名为“NoWindowsUpdate”,然后双击打开,将其值设为“1”。

  1. 重启服务器,进入安全模式,此时还是会显示“配置 Windows Update失败”,稍安勿躁约等2分钟即可进入windows安全模式。
  1. 在安全模式中关闭windows Update,然后正常启动windows.

How to get started with the new Office app (preview) on Android

Microsoft Office app in App Store

Source: Windows Central

Microsoft is developing a new Office mobile app for Android and iOS devices, which is similar to the experience for Windows 10, but it’s a lot more useful. Unlike the lighter desktop experience, the new app combines all the productivity apps and tools into a single install package that takes less space on your phone. This means that with a single download, you can access Word, Excel, and PowerPoint without having to switch apps, and you even get access to other features, such as Lens, Notes, and PDFs from one place.

Amazon’s 12 Days of Deals is here with big discounts for all

However, the Office app doesn’t introduce new features. Instead, it surfaces all the tools and features already available into an user-friendly interface. For example, the app gives you quick access to your recent documents and notes, and there’s a new “Actions” pane with quick access to transfer files, extract text from images, and manage PDF files, including the ability to sign documents, and much more.

The app is in the early stages of development, but there’s a preview that anyone can download and use to test the new experience and features expected to arrive when the final version releases.

In this guide, we’ll walk you through the steps to get started with the new Office mobile app on your Android device.

How to install Office app on Android

To install the latest preview of the Office app on Android from your PC, use these steps:

  1. Open Google Groups website.
  2. Click the Sign in button in the top-right.

    Google Groups sign inSource: Windows Central

  3. Sign in using your Google account connected to your Android phone.
  4. Open the Office app preview for Android group.
  5. (Optional) Clear the Link my Google profile and show my photo on posts option.
  6. Click the Join this group button.

    Office preview Google GroupsSource: Windows Central

  7. Open the Microsoft Office app in the Google Play website. (The link will only work after joining the group.)
  8. Click the Install button.

    Microsoft Office app Google PlaySource: Windows Central

  9. Select your mobile phone from the list.
  10. Click the Install button.

    Android app remove installSource: Windows Central

  11. Click the OK button.

Once you complete the steps, the new Office app will install automatically on your phone.

How to use Office app on Android

To set up the Office app preview on your phone, use these steps:

  1. Open Office app on your phone.
  2. Tap the Done button.
  3. Tap the Connect your account option.

    Quick note: You don’t need to connect your account to use the app, but signing in will allow you to access and edit documents on your OneDrive account.

  4. Enter your Microsoft account.
  5. Click the Next button.

    Set up Office app on AndroidSource: Windows Central

  6. Confirm your account password.
  7. Click the Sign in button.
  8. Tap the Done button.

After you complete the steps, you can start using the new Office app and all its new features.

Getting started with Office app

The app is divided into three sections. The top header allows you to access your account information and settings as well as a Home menu to filter documents by format (Word, Excel, PowerPoint, PDF, Media, and Notes).

Office app top optionsSource: Windows Central

In the top-left, you can access the Browse option to look for files on different accounts and locally stored on the phone manually, and the option to search files.

In the middle section is where your recent and recommended documents are listed. You can simply tap the document to open it with the appropriate application without leaving the Office experience.

Then at the bottom, you’ll find another Home button, a Plus button to create notes, snap images using Lens, or create a new Word, Excel, and PowerPoint document.

Scanning text into Word

For instance, if you want to grab text from a printed document, brochure, street sign, etc., you can snap a picture and then let Lens do the rest using these steps:

  1. Tap the Plus button.
  2. Tap the Lens option.
  3. Snap a picture.
  4. Tap the File type option to select the format.

    Office Lens optionSource: Windows Central

  5. Tap the Done button

Alternatively, you can tap the Plus button, then the Documents option, and then select whether to scan directly to Word, Excel, or PowerPoint. Also, from the Documents menu, you can create new blank documents, workbooks, and presentations.

Then, there’s the Actions button, which allows you to access a number of common tasks, such as to send or receive files from your phone to a computer or nearby phone. Also, you’ll find the same options to scan an image or table to extract text or table information into a Word or Excel document.

Transferring files from phone to computer

If you have to transfer a file from your phone to another computer, the process is straightforward (no account or OneDrive setup required), you only need to follow these steps:

  1. On the computer receiving the file, open the browser.
  2. Open the aka.ms/TransferFiles page.

    Office file transfer pageSource: Windows Central

  3. On the phone, tap the Actions button from the Office app.
  4. Under the “Share files” section, tap the Transfer Files option.
  5. Tap the Send file button. (You can also use this feature to receive files.)
  6. Using the phone camera, scan the QR code on the browser.

    Office transfer filesSource: Windows Central

  7. Tap the Pair button on your phone.
  8. Tap the Pair button on your computer.
  9. Select the file that you want to transfer.

    Pairing phone and PC using Office appSource: Windows Central

  10. Save the file on your computer.

In addition to send documents, you can also use this feature to transfer files from your device to your phone without the need of a Microsoft account.

Another interesting feature is the ability to manage PDF documents in a number of ways. Using the Office mobile app, you can add a signature to a PDF using just your finger. You can scan a picture to a PDF file, or create a document from an existing image, as well as convert an Office file into a PDF.

Signing PDF document

For example, if you want to sign a PDF document using the Office mobile app, you can use these steps:

  1. Tap the Actions button from the Office app.
  2. Tap the Sign a PDF option.
  3. Tap the Browse button from the top-right corner.
  4. Open the document.

    Quick note: The document must have editing permissions for the signature feature to work.

  5. Tap where you to apply a signature.

    Office PDF signatureSource: Windows Central

  6. Select the ink color (black, blue, or red).
  7. Sign the document in the space provided using your finger.
  8. Tap the Finish button in the top-right.

    Add signature PDF file

  9. (Optional) tap and drag the signature to the correct place.
  10. (Optional) tap the trash can icon to delete the signature.
  11. Tap the Finish button in the top-left corner

Finally, the Actions pane includes a Scan QR Code option to scan links or text and save it as a note in the app.

Although most of these features have been available for a long time, the new Office mobile app makes them easier to find and use, and bringing Word, Excel, and PowerPoint to the central hub removes the frictions of moving back and forth between apps.

During my short time testing the app, the overall experience felt really good, and the menus were intuitive and features easy to understand.

We’re focusing this overview on Android devices, but the new experience is also available on iOS. However, at the time of this writing, the test flight program has reached its limit of participants.

Android五种数据存储方式

android的五种数据存储方式

  • 文件存储
  • SharedPreferences
  • SQLite数据库存储
  • ContentProvider
  • 网络存储
一、文件存储

默认存储路径:/data/data/<PackageName>/files
文件操作模式:MODE_PRIVATE(默认):覆盖、MODE_APPEND:追加

  • 写入文件
public void save(){
      String data = "save something here";
      FileOutputStream out = null;
      ButteredWriter writer = null;
      try{
            out = openFileOutput("data",Context.MODE_PRIVATE);
            writer = new ButteredWriter(new OutputSreamWriter(out));
            writer.write(data);
      }catch(IOException e){
            e.printStackTrace();
      }finally{
            try{
                  if(writer!=null){
                        writer.close();
                  }
            }catch(IOException e){
                  e.printStackTrace();
       }
}
  • 读取数据
public String load(){
      FileInputStream in = null;
      ButteredReader reader = null;
      StringBuilder builder = new StringBuilder();
      try{
            in = openFileInput("data");
            reader = new ButteredReader(new InputStreamReader(in));
            String line= "";
            while((line = reader.readline()) != null){
                   builder.append();
            }
      }catch(IOException e){
            e.printStackTrace();
      }finally{
            if(reader != null){
                    try{
                          reader.close();
                    }catch(IOException e){
                          e.printStackTrace();
                    }
             }
      }
}
二、SharedPreferences

默认存储路径:/data/data/<PackageName>/shared_prefs
操作模式:MODE_PRIVATE(默认):只有当前的应用程序才能对文件进行读写、MODE_MULTI_PROCESS:用于多个进程对同一个SharedPreferences进行读写。
存储数据格式:键值对

获取SharedPreferences对象的方法
  • Context的getSharedPreferences()方法,参数一是文件名,参数二是操作模式
  • Activity的getPreferences()方法,参数为操作模式,使用当前应用程序包名为文件名
  • PreferenceManager的getDefaultSharedPreferences()静态方法,接收Context参数,使用当前应用程序包名为文件名
存储数据
  • 调用SharedPreferences对象的edit()方法获取一个SharedPreferences.Editor对象
  • 向Editor对象中添加数据putBoolean、putString等
  • 调用commit()方法提交数据
SharedPreferences.Editor editor = getSharedPreferences("data",MODE_PRIVATE).edit();
editor.putString("name","ZhangSan");
editor.putInt("age",12);
editor.putBoolean("isMarried",false);
editor.commit();
从SharedPreferences文件中读取数据
SharedPreferences pref = getSharedPreferences("data",MODE_PRIVATE);
String name = pref.getString("name");
int age = pref.getInt("age");
boolean isMarried = pref.getBoolean("isMarried");
三、SQLite数据库存储

默认存储路径:/data/data/<PackageName>/databases
数据类型

  • integer 整型
  • real 浮点型
  • text 文本类型
  • blob 二进制类型
public class MyDatabaseHelper extends SQLiteOpenHelper{  
    public static final String CREATE_BOOK = "create table book ( "
               + " id integer primary key autoincrement,"
               + " author text,"
               + "price real,"
               + "pages integer,"
               + "name text)"; 
    private Context context;
    public MyDatabaseHelper (Context context, String name, CursorFactory factory, int version) {  
        super(context, name, factory, version);  
        this.context = context;
    }  

    @Override  
    public void onCreate(SQLiteDatabase db) {  
        db.execSQL(CREATE_BOOK);          
    }  
      
    //当打开数据库时传入的版本号与当前的版本号不同时会调用该方法  
    @Override  
    public void onUpgrade(SQLiteDatabase db, int oldVersion, int newVersion) {    
    
    }    
}  

在MainActivity中

MyDatabaseHelper helper = new MyDatabaseHelper(this,"BookStore.db",null,1);
 //检测到没有BookStore这个数据库,会创建该数据库并调用MyDatabaseHelper中的onCreated方法。
helper.getWritableDatabase(); 
升级数据库
public class MyDatabaseHelper extends SQLiteOpenHelper{  
    ......
    //当打开数据库时传入的版本号与当前的版本号不同时会调用该方法  
    @Override  
    public void onUpgrade(SQLiteDatabase db, int oldVersion, int newVersion) {   
          db.execSQL("drop table if exists Book");
          onCreate(db):
    }    
} 

在MainActivity中只需将version改为大于原来版本号即可。

MyDatabaseHelper helper = new MyDatabaseHelper(this,"BookStore.db",null,2);
helper.getWritableDatabase(); 
向数据库添加数据

insert()方法,参数一表名,参数二是在未指定添加数据的情况下给某些可为空的列自动赋值为NULL,设置为null即可,参数三是ContentValues对象。
MainActivity

SQLiteDatabase db = helper.getWritableDatabase();
ContentValues values = new ContentValues();
values.put("name","The Book Name");
values.put("author","chen");
values.put("pages",100);
values.put("price",200);
db.insert("Book",null,values);
更新数据库中的数据

update()方法,参数一是表名,参数二是ContentValues对象,参数三、四是去约束更新某一行或某几行的数据,不指定默认更新所有。
MainActivity

SQLiteDatabase db = helper.getWritableDatabase();
ContentValues values = new ContentValues();
values.put("price",120);
db.update("Book",values,"name= ?",new String[]{"The Book Name"});
从数据库中删除数据

delete()方法,参数一是表名,参数二、三是去约束删除某一行或某几行的数据,不指定默认删除所有。
MainActivity

SQLiteDatabase db = helper.getWritableDatabase();
db.delete("Book","pages> ?",new String[]{"100"});
查询数据库中的数据

query()方法,参数一是表名,参数二是指定查询哪几列,默认全部,参数三、四是去约束查询某一行或某几行的数据,不指定默认查询所有,参数五是用于指定需要去group by的列,参数六是对group by的数据进一步的过滤,参数七是查询结果的排序方式
MainActivity

SQLiteDatabase db = helper.getWritableDatabase();
Cursor cursor = db.query("Book",null,null,null,null,null,null);
if(cursor.moveToFirst()){
      do{
            String name = cursor.getString(cursor.getColumnIndex("name");
            String author = cursor.getString(cursor.getColumnIndex("author");
            int pages = cursor.getString(cursor.getColumnIndex("pages");
            double price = cursor.getString(cursor.getColumnIndex("price");
       }while(cursor.moveToNext());
}
cursor.close():
使用SQL语句操作数据库
//添加数据
db.execSQL("insert into Book(name,author,pages,price) values(?,?,?,?) "
            ,new String[]{"The Book Name","chen",100,20});
//更新数据
db.execSQL("update Book set price = ? where name = ?",new String[]
            {"10","The Book Name"});
//删除数据
db.execSQL("delete from Book where pages > ?",new String[]{"100"});
//查询数据
db.execSQL("select * from Book",null);
使用事务操作
SQLiteDatabase db = helper.getWritableDatabase();
db.beginTransaction();  //开启事务
try{
      ......
      db.insert("Book",null,values);
      db.setTransactionSuccessful();  //事务成功执行
}catch(SQLException e){
      e.printStackTrace();
}finally{
      db.endTransaction();  //结束事务
}
四、ContentProvider

ContentProvider主要用于不同的程序之间实现数据共享的功能。

  • 访问其他应用程序中的数据

工具类ContentResolver,提供了一系列方法对数据进行CRUD操作。

ContentResolver的使用方法

1、内容URI
内容URI是由权限和路径组成的,权限是用于区分不同的应用程序,一般是以包名来命名。路径是用于区分同一个应用程序的不同表。

//包名为com.example.app的表table1访问路径
Uri uri  = Uri.parse("content://com.example.app.provider/table1");

2、使用Uri对象进行数据操作

  • 查询
Cursor cursor = getContentResolver().query(uri,null,null,null,null);
if(cursor != null){
      while(cursor.moveToNext()){
            String column1 = cursor.getString(cursor.getColumnIndex("column1"));
            String column2 = cursor.getString(cursor.getColumnIndex("column2"));
      }
      cursor.close();
}
  • 插入
ContentValues values = new ContentValues();
values.put("column1","text");
values.put("column2",1);
getContentResolver().insert(uri,values);
五、网络存储

作者:cy_why
链接:https://www.jianshu.com/p/536ca489a7f4
來源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。

下载百度文库的文档老要下载劵!用Python“破解”这个限制!

前言

大家都应该有过从百度文库下载东西的经历,对于下载需要下载券的文章,我们可以办理文库VIP(土豪的选择):

有的人也会在某宝购买一定的下载券,然后进行下载。而另一些勤勤恳恳的人,则会选择上传文章,慢慢攒下载券。任劳任怨的人,则会自己一点一点的复制粘贴,复制到word里文字太大,那就复制到txt文件里。而既不想花钱又不想攒下载券,也不想一点一点复制粘贴的人,会选择“冰点文库”这样的下载软件,不过貌似现在“冰点文库”已经不能使用了。当然,还有一些其他破解方法,比如放到手机的百度文库APP里,另存为文章,不需要下载券就可以下载文章。诸如此类的方法,可谓五花八门。而对于学习爬虫的人来说,面对怎样免费下载一个付费的word文章的问题,第一个想到的应该就是:自己写个程序搞下来。

2

问题分析

我们以如何下载下面这篇文章为例,分析问题:

URL : https://wenku.baidu.com/view/aa31a84bcf84b9d528ea7a2c.html

我想,看到这样的一个文章,如果爬取当前页面的内容还是很好爬的吧。感觉so easy!至少我当时是这么想的,但是当把文章翻到最下方的时候,我看到了如下内容:

呃….需要点击“继续阅读”才能显示后续的内容,我单爬这一页内容,是爬不到后续的内容的。第一个想到的方法是,抓包分析下,然后我又一次蒙逼了:

Request URL这么长!!最后的expire时间信息好解决,其他的信息呢?不想做无谓的挣扎,因此,我果断地放弃这个方法。

问题:获取当前页的内容好办,怎么获取接下来页面的内容?

带着这个思考,Selenium神器走入了我的视线。

3

预备知识

3.1 Selenium

3.1.1 简介

Selenium 是什么?一句话,自动化测试工具。它支持各种浏览器,包括 Chrome,Safari,Firefox 等主流界面式浏览器,如果你在这些浏览器里面安装一个 Selenium 的插件,那么便可以方便地实现Web界面的测试。换句话说叫 Selenium 支持这些浏览器驱动。Selenium支持多种语言开发,比如 Java,C,Ruby等等,而对于Python,当然也是支持的!

3.1.2 安装

3.1.3 基础知识

3.1.3.1 小试牛刀

我们先来一个小例子感受一下 Selenium,这里我们用 Chrome 浏览器来测试。

运行这段代码,会自动打开浏览器,然后访问百度。

如果程序执行错误,浏览器没有打开,那么应该是没有装 Chrome 浏览器或者 Chrome 驱动没有配置在环境变量里。下载驱动,然后将驱动文件路径配置在环境变量即可。

驱动下载地址:https://sites.google.com/a/chromium.org/chromedriver/downloads

windows下设置环境变量的方法:,输入,点击确定,出现如下对话框:

选择高级->环境变量。在系统变量的Path变量中,添加驱动文件路径即可(注意:分号)。

Linux的环境变量也好设置,在文件中export即可,记得。

当然,你不设置环境变量也是可以的,程序可以这样写:

上面的 是你的chrome驱动文件位置,可以使用绝对路径。我们通过驱动的位置传递参数,也可以调用驱动,结果如下图所示:

3.1.3.2 模拟提交

下面的代码实现了模拟提交提交搜索的功能,首先等页面加载完成,然后输入到搜索框文本,点击提交,然后使用page_source打印提交后的页面的信息。

全自动的哦,程序操控!是不是很酷炫?

其中 driver.get 方法会打开请求的URL,WebDriver 会等待页面完全加载完成之后才会返回,即程序会等待页面的所有内容加载完成,JS渲染完毕之后才继续往下执行。注意:如果这里用到了特别多的 Ajax 的话,程序可能不知道是否已经完全加载完毕。

WebDriver 提供了许多寻找网页元素的方法,譬如 的方法。例如一个输入框可以通过 方法寻找 name 属性来确定。

然后我们输入来文本然后模拟点击了回车,就像我们敲击键盘一样。我们可以利用 Keys 这个类来模拟键盘输入。

最后最重要的一点是可以获取网页渲染后的源代码。通过,输出 属性即可。这样,我们就可以做到网页的动态爬取了。

3.1.3.3 元素选取

关于元素的选取,有如下API:

单个元素选取:

多个元素选取:

另外还可以利用 By 类来确定哪种选择方式:

By类的一些属性如下:

这些方法跟JavaScript的一些方法有相似之处,,就是根据标签的id属性查找元素,,就是根据标签的name属性查找元素。举个简单的例子,比如我想找到下面这个元素:

我们可以这样获取它:

前三个都很好理解,最后一个xpath什么意思?这个无需着急,xpath是非常强大的元素查找方式,使用这种方法几乎可以定位到页面上的任意元素,在后面我会进行单独讲解。

3.1.3.4 界面交互

通过元素选取,我们能够找到元素的位置,我们可以根据这个元素的位置进行相应的事件操作,例如输入文本框内容、鼠标单击、填充表单、元素拖拽等等。由于篇幅原因,我就不一一讲解了,主要讲解本次实战用到的鼠标单击,更详细的内容,可以查看官方文档。

比如上面这句话,我使用找到元素位置,暂且不用理会这句话什么意思,暂且理解为找到了一个按键的位置。然后我们使用click()方法,就可以触发鼠标左键单击事件。是不是很简单?但是有一点需要注意,就是在点击的时候,元素不能有遮挡。什么意思?就是说我在点击这个按键之前,窗口最好移动到那里,因为如果这个按键被其他元素遮挡,click()就触发异常。因此稳妥起见,在触发鼠标左键单击事件之前,滑动窗口,移动到按键上方的一个元素位置:

上面的代码,就是将窗口滑动到page这个位置,在这个位置,我们能够看到我们需要点击的按键。

3.1.3.5 添加User-Agent

使用webdriver,是可以更改User-Agent的,代码如下:

使用Android的User-Agent打开浏览器,画风是这样的(第二条新闻的图片略劲爆):

Selenium就先介绍这么多,对于本次实战内容,已经足够。那么接下来,让我们聊聊xpath。

3.2 Xpath

这个方法是非常强大的元素查找方式,使用这种方法几乎可以定位到页面上的任意元素。在正式开始使用XPath进行定位前,我们先了解下什么是XPath。XPath是XML Path的简称,由于HTML文档本身就是一个标准的XML页面,所以我们可以使用XPath的语法来定位页面元素。

假设我们现在以图所示HTML代码为例,要引用对应的对象,XPath语法如下:

绝对路径写法(只有一种),写法如下:

引用页面上的form元素(即源码中的第3行):

注意:

元素的xpath绝对路径可通过firebug直接查询。

一般不推荐使用绝对路径的写法,因为一旦页面结构发生变化,该路径也随之失效,必须重新写。

绝对路径以单/号表示,而下面要讲的相对路径则以表示,这个区别非常重要。另外需要多说一句的是,当xpath的路径以开头时,表示让Xpath解析引擎从文档的根节点开始解析。当xpath路径以开头时,则表示让xpath引擎从文档的任意符合的元素节点开始进行解析。而当出现在xpath路径中时,则表示寻找父节点的直接子节点,当出现在xpath路径中时,表示寻找父节点下任意符合条件的子节点,不管嵌套了多少层级(这些下面都有例子,大家可以参照来试验)。弄清这个原则,就可以理解其实xpath的路径可以绝对路径和相对路径混合在一起来进行表示,想怎么玩就怎么玩。

下面是相对路径的引用写法:

查找页面根元素:

查找页面上所有的input元素:

查找页面上第一个form元素内的直接子input元素(即只包括form元素的下一级input元素,使用绝对路径表示,单/号):

查找页面上第一个form元素内的所有子input元素(只要在form元素内的input都算,不管还嵌套了多少个其他标签,使用相对路径表示,双//号):

查找页面上第一个form元素:

查找页面上id为loginForm的form元素:

查找页面上具有name属性为username的input元素:

查找页面上id为loginForm的form元素下的第一个input元素:

查找页面具有name属性为contiune并且type属性为button的input元素:

查找页面上id为loginForm的form元素下第4个input元素:

Xpath功能很强大,所以也可以写得更加复杂一些,如下面图所示的HTML源码。

如果我们现在要引用id为“J_password”的input元素,该怎么写呢?我们可以像下面这样写:

也可以写成:

这里解释一下,其中//*[@id=’ J_login_form’]这一段是指在根元素下查找任意id为J_login_form的元素,此时相当于引用到了form元素。后面的路径必须按照源码的层级依次往下写。按照图(3)所示代码中,我们要找的input元素包含在一个dt标签内,而dt又包含在dl标签内,所以中间必须写上dl和dt两层,才到input这层。当然我们也可以用*号省略具体的标签名称,但元素的层级关系必须体现出来,比如我们不能写成//[@id=’J_login_form’]/input[@id=’J_password’],这样肯定会报错的。

前面讲的都是xpath中基于准确元素属性的定位,其实xpath作为定位神器也可以用于模糊匹配。本次实战,可以进行准确元素定位,因此就不讲模糊匹配了。如果有兴趣,可以自行了解。

4

动手实战

以上面提到的文章为例,进行爬取讲解。URL :https://wenku.baidu.com/view/aa31a84bcf84b9d528ea7a2c.html

4.1 页面切换

由于网页的百度文库页面复杂,可能抓取内容不全,因此使用User-Agent,模拟手机登录,然后打印文章标题,文章页数,并进行翻页。先看下这个网站。

我们需要找到两个元素的位置,一个是页码元素的位置,我们根据这个元素的位置,将浏览器的滑动窗口移动到这个位置,这样就可以避免click()下一页元素的时候,有元素遮挡。然后找到下一页元素的位置,然后根据下一页元素的位置,触发鼠标左键单击事件。

我们审查元素看一下,这两个元素:

我们根据这两个元素,就可以通过xpath查找元素位置,代码分别如下:

由于page元素有很多,所以我们使用find_elements_by_xpath()方法查找,然后使用page[-1],也就是链表中的最后一个元素的信息进行浏览器窗口滑动,代码如下:

运行效果,自动翻页了有木有!

4.2 内容爬取

爬取内容这里,使用之前重点讲过的BeautifulSoup就可以。这里不再细奖,审查元素,自己分析下就有了。代码如下:

爬取结果如下:

爬取的内容还是蛮规整的,对吧?

4.3 整体代码

我们能够翻页,也能够爬取当前页面内容,代码稍作整合,就可以爬取所有页面的内容了!找下网页的规律就会发现,5页文章放在一个网页里。思路:爬取正文内容,再根据爬取到的文章页数,计算页数/5.0,得到一个分数,如果这个分数大于1,则翻页继续爬,如果小于或等于1,代表到最后一页了。停止翻页。有一点注意一下,翻页之后,等待延时一下,等待页面加载之后在爬取内容,这里,我们使用最简单的办法,用sleep()进行延时。因此总体代码如下:

瞧,最后一页的内容也爬取下来了,接下来的工作就简单了,把这个结果写到txt文件中,我这里就不再进行讲解了。

至此,整篇的内容,我们都爬取下来了。是不是很酷?那就开始动手实践吧!

5

总结

这样爬取是可以爬取到内容,但是缺点也很明显:

没有处理图片内容,可以后续完善;

代码通用性不强,有的文章结构不是这样,需要对代码进行略微修改,才能爬取到内容;

对于上百页的内容爬取有些问题,翻页方式变了,需要换种方法处理,有兴趣的可以自己看下;

等待页面切换方法太out,可以使用显示等待的方式,等待页面加载;

selenium虽好,但是有些耗时,可以使用PhantomJS对这部分代码进行替换;

最后,我感觉我的方法可能有些low,如果有更好的方法,欢迎交流。

Win10一个命令让你掌握笔记本/平板电池健康状况

使用笔记本以及平板设备的朋友应该对设备电池健康状况比较关心,Win10系统中就提供了可查看设备电池详细使用报告的方法,感兴趣的朋友可以尝试一下。其实这项功能在Win7中就已存在,在Win8中进一步完善,报告也更加详细。

• 以管理员身份运行CMD,输入下面的命令回车,系统就会在你指定的路径生成设备电池使用报告。

powercfg /batteryreport /output “C:\battery_report.html”

• 双击C:\battery_report.html会用你默认的浏览器打开该报告,一起来简单了解一下:

▲系统以及电池基本信息,包括电池设计容量、完全充电容量、充电周期

▲设备电池完全充电容量变化

▲最近三日电池使用情况记录,包括何时处于活动状态以及何时进入待机状态

▲最近三日电池使用变化曲线

▲电池续航预估值变化,这里的数据比你在任务栏电池图标上看到的要准确

这份报告会详细记录自系统安装后电池的使用详情,根据这些数据可掌握电池续航变化情况。

JS判断是否在微信浏览器打开的简单实例(推荐)

这里有新鲜出炉的 Javascript 教程,程序狗速度看过来!

JavaScript 客户端脚本语言

Javascript 是一种由 Netscape 的 LiveScript 发展而来的原型化继承的基于对象的动态类型的区分大小写的客户端脚本语言,主要目的是为了解决服务器端语言,比如 Perl,遗留的速度问题,为客户提供更流畅的浏览效果。


下面小编就为大家带来一篇 JS 判断是否在微信浏览器打开的简单实例 (推荐)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧

最近做很多 HTML5 的项目,很多页面会通过微信微博等 SNS 分享出去。在分享页面上提供公司 APP 的下载。但是在很多应用的浏览器中,点击下载链接无法下载应用。那么针对这些浏览器我们需要给用户提示从 safari 或者系统自带的浏览器打开分享页面。通过 js 就可以判断当前页面是在什么浏览器打开的。

以下是一段示例代码,注释中表明了通过 JS 如何判断是否在微信浏览器打开,是否在 QQ 空间浏览器,是否在新浪微博打开。当然可以做得更完善一点,再加上判断是在移动设备打开还是在 PC 端浏览器打开的,更加细分一点,可以判断是在安卓系统的浏览器打开的还是 IOS 系统浏览器打开的。

  1.  
  2. if (browser.versions.mobile) {//判断是否是移动设备打开。browser代码在下面
  3. var ua = navigator.userAgent.toLowerCase();//获取判断用的对象
  4. if (ua.match(/MicroMessenger/i) == “micromessenger”) {
  5. //在微信中打开
  6. }
  7. if (ua.match(/WeiBo/i) == “weibo”) {
  8. //在新浪微博客户端打开
  9. }
  10. if (ua.match(/QQ/i) == “qq”) {
  11. //在QQ空间打开
  12. }
  13. if (browser.versions.ios) {
  14. //是否在IOS浏览器打开
  15. }
  16. if(browser.versions.android){
  17. //是否在安卓浏览器打开
  18. }
  19. } else {
  20. //否则就是PC浏览器打开
  21. }

再附上 browser 的代码,通过以下方法可以判断很多浏览器。包括判断 IE 浏览器,Opera 浏览器,苹果浏览器,谷歌浏览器,火狐浏览器等。

  1. var browser = {
  2. versions: function() {
  3. var u = navigator.userAgent,
  4. app = navigator.appVersion;
  5. return { //移动终端浏览器版本信息
  6. trident: u.indexOf(‘Trident’) > 1,
  7. //IE内核
  8. presto: u.indexOf(‘Presto’) > 1,
  9. //opera内核
  10. webKit: u.indexOf(‘AppleWebKit’) > 1,
  11. //苹果、谷歌内核
  12. gecko: u.indexOf(‘Gecko’) > 1 && u.indexOf(‘KHTML’) == 1,
  13. //火狐内核
  14. mobile: !!u.match(/AppleWebKit.*Mobile.*/),
  15. //是否为移动终端
  16. ios: !!u.match(/\(i[^;]+;( U;)? CPU.+Mac OS X/),
  17. //ios终端
  18. android: u.indexOf(‘Android’) > 1 || u.indexOf(‘Linux’) > 1,
  19. //android终端或uc浏览器
  20. iPhone: u.indexOf(‘iPhone’) > 1,
  21. //是否为iPhone或者QQHD浏览器
  22. iPad: u.indexOf(‘iPad’) > 1,
  23. //是否iPad
  24. webApp: u.indexOf(‘Safari’) == 1 //是否web应该程序,没有头部与底部
  25. };
  26. } (),
  27. language: (navigator.browserLanguage || navigator.language).toLowerCase()
  28. }

以上这篇 JS 判断是否在微信浏览器打开的简单实例 (推荐) 就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持 phperz。

基于JS判断iframe是否加载成功的方法(多种浏览器)

这篇文章主要介绍了基于 JS 判断 iframe 是否加载成功的方法【多种浏览器】的相关资料, 需要的朋友可以参考下

Javascript 是一种由 Netscape 的 LiveScript 发展而来的原型化继承的基于对象的动态类型的区分大小写的客户端脚本语言,主要目的是为了解决服务器端语言,比如 Perl,遗留的速度问题,为客户提供更流畅的浏览效果。

推荐阅读:

在项目中经常要动态添加 iframe,然后再对添加的 iframe 进行相关操作,而往往 iframe 还没添加完呢,后边的代码就已经执行完了,所以有些你写的东西根本没有显示出来。这时,我们就要考虑是否可以等 iframe 加载完后再执行后边的操作,当然,各种浏览器早就为我们考虑到啦,看下面:

ie 浏览器

IE 的每个 elem 节点都会拥有一个 onreadystatechange 事件,这个事件每次在 elem 内容发送变化的时候触发,比如内容正在载入 loading 会触发,内容载入完毕 loaded 会触发,内容载入成功 complete 会触发,这个函数还需要配合 readyState,这是 ie 上每个 elem 都拥有的属性,用来查看每次触发时候的状态。

  1. //先为iframe 添加一个 onreadystatechange
  2. iframe.attachEvent(“onreadystatechange”,
  3. function() {
  4. //此事件在内容没有被载入时候也会被触发,所以我们要判断状态
  5. //有时候会比较怪异 readyState状态会跳过 complete 所以我们loaded状态也要判断
  6. if (iframe.readyState === “complete” || iframe.readyState == “loaded”) {
  7. //代码能执行到这里说明已经载入成功完毕了
  8. //要清除掉事件
  9. iframe.detachEvent(“onreadystatechange”, arguments.callee);
  10. //这里是回调函数
  11. }
  12. });

其他浏览器(Firefox,Opera,chrome 等 )

在其他非 IE 的浏览器上 Firefox,Opera,chrome 等 iframe 都会拥有一个 onload 事件,此事件只要触发就说名内容已经加载完毕。

  1. iframe.addEventListener(“load”,
  2. function() {
  3. //代码能执行到这里说明已经载入成功完毕了
  4. this.removeEventListener(“load”, arguments.call, false);
  5. //这里是回调函数
  6. },
  7. false);

综合一下

  1. if (iframe.attachEvent) {
  2. iframe.attachEvent(“onreadystatechange”,
  3. function() {
  4. //此事件在内容没有被载入时候也会被触发,所以我们要判断状态
  5. //有时候会比较怪异 readyState状态会跳过 complete 所以我们loaded状态也要判断
  6. if (iframe.readyState === “complete” || iframe.readyState == “loaded”) {
  7. //代码能执行到这里说明已经载入成功完毕了
  8. //要清除掉事件
  9. iframe.detachEvent(“onreadystatechange”, arguments.callee);
  10. //这里是回调函数
  11. }
  12. });
  13. } else {
  14. iframe.addEventListener(“load”,
  15. function() {
  16. //代码能执行到这里说明已经载入成功完毕了
  17. this.removeEventListener(“load”, arguments.call, false);
  18. //这里是回调函数
  19. },
  20. false);
  21. }

注意:上面的函数必须放在 iframe 被 appendChild 到 body 后,否则不会被触发

以上内容是小编给大家介绍的 JS 判断 iframe 是否加载成功的方法,希望对大家有所帮助!

AndroidKiller:解决高版本APK编译错误

1、反编译卡死

卡死在这里,解决方法参考:
https://www.52pojie.cn/thread-658341-1-1.html

2、反编译成功,无法回编
>W: E:\移动安全\静态分析反编译\反编译工具\Androidkiller\projects\xiongdi\Project\AndroidManifest.xml:3: error: No resource identifier found for attribute ’roundIcon’ in package ‘android’
>W:
>brut.androlib.AndrolibException: brut.common.BrutException: could not exec (exit code = 1): [

android 7.1api level 25)有一个新特性,就是圆形桌面Icon,对应的是在AndroidManifest.xmlapplication节点配置:android:roundIcon=”@mipmap/ic_launcher_round” 。
反编译后,在AndroidManifest.xml文件中将此属性删除再次回编译即可。

3、apktool版本太旧
Exception in thread mainbrut.androlib.AndrolibException: Could not decode 这个问题,就是apktool.jar比较老旧的问题。
apktools.jar下载官网:https://ibotpeaches.github.io/Apktool/install/  对应平台下载,更新到apktool管理器,图片下方选择好默认的apktool版本。

逆向某直播app全程

  • 抓包

逆向原因不表。第一步当然是从抓包开始,电脑打开fiddler,设置手机wifi代理为电脑局域网ip,端口8888。打开app,抓到几个请求,其中获取直播列表请求如下:

  1. POST http://xxx.xxxx.cn/mapi/index.php HTTP/1.1
  2. Host: xxx.xxxx.cn
  3. Connection: keep-alive
  4. Accept-Encoding: gzip, deflate
  5. Accept: */*
  6. User-Agent: Dalvik/2.1.0 (Linux; U; Android 7.1.1; E6683 Build/32.4.A.1.54)
  7. X-JSL-API-AUTH: sha1|1515724202|pRQCJVbTdAI6|e91cd7a62631b4426175b2ca4f77948f0f350fd9
  8. Cookie: client_ip=143.97.168.92; user_id=464890; __jsluid=c13ebd1234964c11ds9802a5b24sd6afc; nick_name=%e7%bb%ad%e5%91%bd; $Path=/; user_pwd=0091ea2a881c56fae1sece697510ec80; PHPSESSID2=9eirdal3p5q05ppdkj7uj767h5; PHPSESSID=5rdo1e11mk3bjctoaaeksmun63; $Domain=69.9vtao.cn
  9. Content-Length: 342
  10. Content-Type: application/x-www-form-urlencoded
  11. itype=&i_type=1&sdk_version_name=2.5.12&requestData=apwlYyV6t85HEc7wCgrb41qkcD0E%2F%2BMKEQcyaZzX0Xsob1xZKtUfh5P6PIGRHOPzocvGjqyDRcsW11TC7ZCJwRgLMmmew5%2FKTmYY9M3Pl8u2ohlBQRCkuR4YmL9%2FzTIQt2ieybEsLPh3Fa2ZC2EBmJwNqq0NtO3L5%2Fq2nxi%2FzX4L2xzFsL5dnJHMLD4jQxwFwWJs98OWS91ImakLf7MXqIhOoZEhslBzqHkVtFRq4TMHMhdgmQPyGaoRTXEXd%2BRR&act=index&ctl=index

出于隐私考虑,Host及Cookie值并非实际值,有修改。

响应(output字段太长,已省略。):

  1. HTTP/1.1 200 OK
  2. Date: Fri, 12 Jan 2018 02:25:12 GMT
  3. Content-Type: text/html; charset=utf-8
  4. Connection: keep-alive
  5. Vary: Accept-Encoding
  6. Vary: Accept-Encoding
  7. Cache-Control: no-cache, no-store, max-age=0, must-revalidate
  8. X-Cache: bypass
  9. Content-Length: 128941
  10. {"output":"5x2AZX2LDCzk2qFiaD1E4UmfLy1LzPnHKMuEHGkthendVDWGGuJZP16YLxvyhhIsKu7T\/4IRa0S1cc3pJRf0UZsiBO1aNHjw4P3eCYxH2AX0GQRfW39pmQhCdOj2klek..."}

很显然,请求和响应加密了,只能反编译app寻找加密方法。

  • 反编译

使用apktool解包apk,得到资源文件和classes.dex文件,使用dex2jar工具反编译得到jar包,使用jd-gui工具查看并导出jar包源码,使用编辑器或ide浏览源码。apk没有加固,顺利拿到源码。

jd-gui需要java8环境,java9会出错,真替java捉急。

尝试全局搜索请求参数关键字"requestData"(不加引号结果太多,加引号就只搜索到出现该字符串的代码了),找到AppHttpUtil.java关键部分代码如下,参数跟抓到的相符,说明发起请求的逻辑正是此处。

  1. for (localObject1 = localObject2;; localObject1 = AESUtil.encrypt(SDJsonUtil.object2Json(localObject1), ApkConstant.getAeskey()))
  2. {
  3. if (i != 0)
  4. {
  5. localRequestParams.addBodyParameter("requestData", (String)localObject1);
  6. localRequestParams.addBodyParameter("i_type", String.valueOf(i));
  7. localRequestParams.addBodyParameter("ctl", (String)localObject3);
  8. localRequestParams.addBodyParameter("act", str);
  9. localRequestParams.addBodyParameter("itype", AppRequestParams.getItypeParams());
  10. localRequestParams.addBodyParameter("sdk_version_name", SDPackageUtil.getVersionName());
  11. }
  12. // 省略
  13. }

AESUtil.encrypt显示这是一个AES加密,找到AESUtil.encrypt方法的代码:

查看AppHttpUtil.java文件顶部的import xxx.AESUtil行,按照import路径即可找到AESUtil.java文件。下面跳转到代码都用这个方法,如果没有import 这行,说明这个类跟当前类在同一个目录下。

  1. public static String encrypt(String paramString1, String paramString2)
  2. {
  3. Object localObject2 = null;
  4. Object localObject1 = null;
  5. try
  6. {
  7. paramString1 = paramString1.getBytes("UTF-8");
  8. paramString2 = new SecretKeySpec(paramString2.getBytes("UTF-8"), "AES");
  9. Cipher localCipher = Cipher.getInstance("AES/ECB/PKCS5Padding");
  10. localCipher.init(1, paramString2);
  11. paramString1 = localCipher.doFinal(paramString1);
  12. paramString2 = (String)localObject1;
  13. if (paramString1 != null) {
  14. paramString2 = Base64.encodeToString(paramString1, 0);
  15. }
  16. return paramString2;
  17. }
  18. // 省略
  19. }

AES加密方式为AES/ECB/PKCS5Padding,再看上面的调用方式,加密key为ApkConstant.getAeskey(),找到该类:

  1. public static final String AES_KEY = SDResourcesUtil.getString(2131165252) + "000000";
  2. private static String AES_KEY_DYNAMIC = "";
  3. public static String getAeskey()
  4. {
  5. if (!TextUtils.isEmpty(AES_KEY_DYNAMIC)) {
  6. return AES_KEY_DYNAMIC;
  7. }
  8. return AES_KEY;
  9. }

这里使用了AES_KEY_DYNAMIC字段,如果没有则使用默认的AES_KEY字段,说明服务端可能会动态更新AES_KEY_DYNAMIC。我们先用默认的AES_KEY试试可不可行。

AES_KEY获取方式为SDResourcesUtil.getString(2131165252),根据名字猜测是获取资源文件值,2131165252是资源id,全局搜索一下这个id,在R.java中找到下面一行定义:

由于编译优化的原因,常量名会直接替换为本来的数值。方法的局部变量命名很奇怪也是如此,编译后不存在局部变量的名字,名字都是反编译工具生成的。

  1. public static final int app_id_tencent_live = 2131165252;

百度搜索一下R.java,出来的是安卓资源文件相关的结果,说明这个值在资源文件中定义。打开解包apk后的res文件夹,全局搜索app_id_tencent_live,在strings.xml文件中找到了该值:

  1. <string name="app_id_tencent_live">1400057185</string>

那么AES_KEY="1400057185" + "000000",也即AES加密KEY为1400057185000000

  • AES加密

找一个在线AES加密网站验证一下结果是否正确,设置参数如下:

  1. 加密模式:ECB
  2. 填充:pkcs5padding
  3. 密码:1400057185000000
  4. 字符集: utf8

粘贴上面抓包请求中的requestData字段值,注意上面是urlencode后的,可以直接从fiddler的WebFroms视图里复制原始值。点击解密,得到结果如下:

  1. {"screen_width": 1080, "sdk_type": "android", "sdk_version_name": "2.5.12", "sex": 0, "p": 1, "sdk_version": 2017122401, "cate_id": 0, "act": "index", "ctl": "index", "screen_height": 1776}

说明我们的猜测是对的,通信协议加密搞定。粘贴响应结果的output字段,点击解密,同样得到了原文(结果这里就不贴了,是一个json结构,返回了直播列表,包含房间id等信息)。

观察该请求的参数,并没有什么变量(screen_width跟设备相关,sdk_version跟app版本相关,app升级后可能会变),直接照抄参数即可模拟该请求。

python可使用pycrypto库实现AES加/解密,由于该库安装需要编译,而且不自动处理padding,比较麻烦,这里直接使用上面AES网站的API来做AES加/解密操作。fiddler抓包如下:

  1. Method:
  2. POST http://tool.chacuo.net/cryptaes
  3. WebForms:
  4. type: aes
  5. data: test
  6. arg: m=ecb_pad=pkcs5_block=128_p=1400057185000000_o=0_s=utf-8_t=0
  7. Returns:
  8. {"status":1,"info":"ok","data":["3KLa9xdRIRq4WVy7Sr3\/Ew=="]}

解密协议相同,只是arg参数变为以t=1结尾。python调用代码如下:

  1. def aes_encrypt(text):
  2. params = {
  3. 'data': text,
  4. 'type': 'aes',
  5. 'arg': 'm=ecb_pad=pkcs5_block=128_p=%s_i=_o=0_s=utf-8_t=0' % conf['aeskey']
  6. }
  7. r = requests.post('http://tool.chacuo.net/cryptaes', data=params)
  8. return r.json()['data'][0]
  9. def aes_decrypt(text):
  10. params = {
  11. 'data': text,
  12. 'type': 'aes',
  13. 'arg': 'm=ecb_pad=pkcs5_block=128_p=%s_i=_o=0_s=utf-8_t=1' % conf['aeskey']
  14. }
  15. r = requests.post('http://tool.chacuo.net/cryptaes', data=params)
  16. return r.json()['data'][0]
  • sign签名

接下来寻找获取房间信息的请求,先在手机上请求,fiddler抓包,报文跟直播列表请求结构相似,解密requestData得到原文:

  1. {"screen_width": 1080, "sdk_type": "android", "sdk_version_name": "2.5.12", "sign": "65c65aefb02040eebca7127576c47a2c", "is_vod": 0, "sdk_version": 2017122401, "room_id": 172084, "act": "get_video2", "ctl": "video", "screen_height": 1776}

解密响应包,内容是房间的具体信息,包含了一个flv链接的直播流,使用支持流媒体的播放器打开这个链接可直接观看。

注意多了一个sign字段,有签名验证,没有想象中顺利。尝试搜索请求参数get_video2(其他重复率可能比较低的参数也行,多尝试),找到CommonInterface.java代码如下:

  1. public static SDRequestHandler requestRoomInfo(int paramInt1, int paramInt2, String paramString, AppRequestCallback<App_get_videoActModel> paramAppRequestCallback)
  2. {
  3. AppRequestParams localAppRequestParams = new AppRequestParams();
  4. localAppRequestParams.putCtl("video");
  5. localAppRequestParams.putAct("get_video2");
  6. localAppRequestParams.put("room_id", Integer.valueOf(paramInt1));
  7. localAppRequestParams.put("is_vod", Integer.valueOf(paramInt2));
  8. localAppRequestParams.put("private_key", paramString);
  9. paramString = AppRuntimeWorker.getSdkappid();
  10. String str = AppRuntimeWorker.getLoginUserID();
  11. localAppRequestParams.put("sign", MD5Util.MD5(paramString + str + paramInt1));
  12. return AppHttpUtil.getInstance().post(localAppRequestParams, paramAppRequestCallback);
  13. }

可以看到sign参数为MD5Util.MD5(paramString + str + paramInt1)
strAppRuntimeWorker.getLoginUserID(),根据名字知道这是用户id,用户id当然在cookie中,查看最开始抓到的请求中,cookie头有user_id字段,就是该值。
结合localAppRequestParams.put("room_id", Integer.valueOf(paramInt1))这行,知道paramInt1为room_id,即房间id,在直播列表请求返回的结果中,有room_id字段。
paramStringAppRuntimeWorker.getSdkappid()

转到AppRuntimeWorker.getSdkappid方法代码:

  1. public static String getSdkappid()
  2. {
  3. InitActModel localInitActModel = InitActModelDao.query();
  4. if (localInitActModel == null) {
  5. return null;
  6. }
  7. return localInitActModel.getSdkappid();
  8. }

sdkappid是从InitActModel中读取的,找到InitActModel类,发现是一个纯数据类,sdkappid是外部设置的。尝试全局搜索setSdkappid方法,找到设置该值的地方,结果略多,没有找到有用的代码。

变换思路,查看InitActModelDao代码:

  1. public class InitActModelDao
  2. {
  3. public static void delete()
  4. {
  5. JsonDbModelDao.getInstance().delete(InitActModel.class);
  6. }
  7. public static boolean insertOrUpdate(InitActModel paramInitActModel)
  8. {
  9. boolean bool = JsonDbModelDao.getInstance().insertOrUpdate(paramInitActModel);
  10. HostManager.getInstance().saveActHost();
  11. return bool;
  12. }
  13. public static InitActModel query()
  14. {
  15. return (InitActModel)JsonDbModelDao.getInstance().query(InitActModel.class);
  16. }
  17. }

看上去是orm代码,继续查看JsonDbModelDao代码,从代码风格可以确定是orm了。代码不多,看到该行:

  1. DbManagerX.getDb().selector(JsonDbModel.class)

说明数据库初始化部分在DbManagerX类里,查看DbManagerX代码,发现下面这行:

  1. private static final DbManager.DaoConfig configDefault = new DbManager.DaoConfig().setDbName("fanwe.db")

数据库文件为fanwe.db,应该是一个sqlite数据库。可能是内置于apk里的,去apk解包后的文件夹里查找该文件,并没有找到。那就说明数据库文件是apk运行后创建的,那么sdkappid也可能是动态设置的,由服务端返回。

回到fiddler,查看之前抓到的请求,对每个请求结果都解密,查找sdkappid关键字。在一个包含ctl=app_init参数的请求中找到了该值"sdkappid": "1400057185",结果跟上面的aes_key是同一个值,what the fuck…

这里也可以直接去手机里找fanwe.db文件, 但是我用的手机并未root,无法查看app私有数据目录。实在找不到的情况下,可以用安卓虚拟机去运行app再找到数据库文件。

现在用于签名的三个参数都已经找到,我们使用上面的room_id 172084,结合userid和sdkappid,找个在线的md5网站,计算md5值,得到结果65c65aefb02040eebca7127576c47a2c,跟sign字段一致,签名验证搞定。本来还以为它的MD5Util.md5方法还要在加个什么key之类的…

现在房间信息请求也搞定了,然而我看到了请求头有一个X-JSL-API-AUTH的特殊的头,就知道事情并没有那么简单。

  • HTTP头

抓包请求中有如下一个http头,使用fiddler的Reissue and Edit功能重发请求,并编辑,去掉该头,发现返回了一个html页面,提示请求被拦截,说明该头是用来验证请求的有效性。

  1. X-JSL-API-AUTH: sha1|1515583942|EgloVUHapki7|e4abc467fdfb98d72c0c881329b1450c301b2d26

发现每次请求这个头的值都不一样,并且第二个参数是一串数字,看起来是时间戳,猜测这个头每次请求会生成,并且具有有效期。特意等待几分钟后,使用fiddler重新发起该请求,返回结果提示拦截,果然如此。

在源码中搜索X-JSL-API-AUTH关键字,找到关键代码:

  1. Object localObject1 = new StringBuilder(paramSDRequestParams.getUrl());
  2. localRequestParams.addHeader("X-JSL-API-AUTH", getToken(((StringBuilder)localObject1).toString()));
  3. //省略
  4. public static String getToken(String paramString)
  5. {
  6. String str = getStringRandom();
  7. long l = getSysTime();
  8. paramString = getStrToSHA("sha1|09969cd379a84835b6fece3c8d327bf1|" + l + "|" + str + "|" + paramString);
  9. return "sha1|" + l + "|" + str + "|" + paramString;
  10. }

实现逻辑比较简单,拼接字符串sha1|09969cd379a84835b6fece3c8d327bf1|、时间戳、一个随机字符串、要请求的url得到加密用原文,求sha1值,作为签名,然后拼接sha1、时间戳、随机字符串、以及签名即可得到该头部值。

python代码实现如下:

  1. def token():
  2. l = str(int(time.time()) + 300)
  3. string = ''.join(random.sample('abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789', 12))
  4. sign = sha1("sha1|09969cd379a84835b6fece3c8d327bf1|" + l + "|" + string + "|" + conf['url']).hexdigest()
  5. return "sha1|" + l + "|" + string + "|" + sign

事后发现,这里有个坑,脚本在我电脑上运行正常,在服务器上运行一直返回请求被拦截,开始以为是ip或cookie的问题,调试了好久发现,上面签名用的时间戳不是当前时间,而是失效时间。我自己电脑的时间比较快,所以坑了…解决方法也很简单,取当前时间加上5分钟就好。

猜测很可能会验证User-Agent头,试了下果然如此, 请求需要伪造User-Agent头。使用fiddler抓到的手机发出的请求的User-Agent即可。

  1. User-Agent: Dalvik/2.1.0 (Linux; U; Android 7.1.1; E6683 Build/32.4.A.1.54)
  • 模拟

至此,请求已分析完毕,可以编码模拟了。待填坑。。