mongo索引 headless

summary_2018/06 mongodb other

1、日常工作

• Moogodb索引的学习
• 无界面浏览器技术分享

2、技术学习

• MongoDB 索引
  
  • Siggle Field Index
    
    • db.records.createIndex( { score: 1 } )
    • 无嵌入文档：单列索引均可使用
    • 有嵌入文档：可以为嵌入文档中的某列建立索引，查询条件可为该列和整个嵌入文档；为整个嵌入文档建立索引时，查询条件只能为整个嵌入文档才会生效
  • Compound Index
    
    • db.collection.createIndex( { : , : , ... } )
    • 支持最左前缀匹配（与mysql相同）(compound indexes and prefixes)
  • 多键索引(单列、复合)
    
    • db.coll.createIndex( { : < 1 or -1 > } )
    • 为了索引一个储存数组的键，MongoDB对数组中的每个元素都添加索引项。
    • 在复合多键索引中：只能有一个是多键索引，在已经建立的情况下，破坏该条件的插入会被拒绝
    • 如果一个字段是一组文档，你可以建立复合索引
      { _id: 1, a: [ { x: 5, z: [ 1, 2 ] }, { z: [ 1, 2 ] } ] }
      { _id: 2, a: [ { x: 5 }, { z: 4 } ] }
      compound index：{ "a.x": 1, "a.z": 1 }
    • TIPS：
      
      • 1、hash索引不能是多键索引
      • 2、sort：由于v3.6对sort行为的更改，在对使用多键索引的数组排序时，可能会导致负面影响
      • 3、不能将多键索引指定为分片键索引，但是如果分片索引是复合索引的前缀，且另一个分片索引不是数组，则可以成为复合多键索引。（翻译好像有问题。。大家可以看一下原文）
      • 4、当查询过滤器查询一个制定数组是，Mogon可以使用多键索引来查询查询数组中的第一个元素，然后在结果中，查询完全匹配的数组（因为多键索引会为每个元素建立索引，下面建立有三个索引：5，8，9）
        { _id: 5, type: "food", item: "aaa", ratings: [ 5, 8, 9 ] }
        { _id: 6, type: "food", item: "bbb", ratings: [ 5, 9 ] }
        { _id: 7, type: "food", item: "ccc", ratings: [ 9, 5, 8 ] }
        db.inventory.createIndex( { ratings: 1 } )
        db.inventory.find( { ratings: [ 5, 9 ] } )
        

        MongoDB can use the multikey index to find documents that have 5 at any position in the ratings array. Then, MongoDB retrieves these documents and filters for documents whose ratings array equals the query array [ 5, 9 ].

      • 嵌入式文档中，也可以建立多键索引。
        
        • how MongoDB can combine multikey index bounds
          {
          _id: 2,
          item: "def",
          stock: [
          { size: "S", color: "blue", quantity: 20 },
          { size: "M", color: "blue", quantity: 5 },
          { size: "M", color: "black", quantity: 10 },
          { size: "L", color: "red", quantity: 2 }
          ]
          }
          {
          db.inventory.createIndex( { "stock.size": 1, "stock.quantity": 1 } )
  • 文本索引
  • 2dsphere索引(支持所有的MongoDB地理空间查询：包含，交集和邻近的查询-球体)
    db.places.insert(
    {
    loc : { type: "Point", coordinates: [ -73.88, 40.78 ] },
    name: "La Guardia Airport",
    category : "Airport"
    }
    )
    db.places.createIndex( { loc : "2dsphere" } )
  • 2d索引(在二维平面上使用存储为点的数据的索引)
  • geoHaystack索引（geoHaystack索引可以提高使用平面几何的查询的性能）
  • 哈希索引（通过索引字段的哈希来实现，使用哈希分片键对集合进行分片可以使数据分布更加随机）
  • 索引的属性
    
    • TTL Indexes - 删除索引上过期的文档
    • Unique Indexes
    • Partial Indexes（部分索引-符合条件的建立索引）
    • Case Insensitive Indexes（不区分大小写索引）
    • Sparse Indexes（类似与部分索引，索引中不包含无索引字段的文档）
  • 在已经填充的集合中创建索引会阻塞读写操作，使用background在后台运行
    db.people.createIndex( { zipcode: 1 }, { background: true } )
  • 索引相交（同时使用多个索引的交集）
  • 索引管理（删除、修改，list）
  • 检测索引的使用
    
    • $indexStats以获取有关索引使用统计
    • 查询计划explain()（mysql也有）
    • 控制索引使用 hint()（强制 MongoDB为操作使用特定索引）
  • 建立索引的策略
    
    • Create Indexes to Support Your Queries
    • Use Indexes to Sort Query Results
    • Ensure Indexes Fit in RAM
    • Create Queries that Ensure Selectivity（在选择性较高的字段建立索引的效果较好，即区分度）
  • 索引的一些命令
• 无界面浏览器
  
  • 大佬用webDriver、RPC、TDD基于node.js实现了一个Headless 浏览器，很强。。。 我就暂时了解一下就行了，哈哈
  • 一般用于前端测试、网络爬虫、自动截图等
  • web自动化：Web自动化是所有跟页面相关的自动化，比如页面爬取，数据抓取，页面内容检测，页面功能测试，页面加载性能测试，页面回归测试等等，当我们抓取页面时，使用类似curl这样的工具，拿到的是页面的文本，然后进行XML文档解析，获得相应的内容。但如果页面有一些动态执行的内容，比如JavaScript生成跳转URL，就不能完成，需要JS引擎。所以就有了Headless浏览器。
  • webDriver：与语言无关，操作浏览器的协议
  • TDD：测试驱动开发，是一种软件开发过程（先写测试）
  • RPC：远程过程调用

3、思考与总结

• 需要学习的东西还有很多吗，学习使我快乐，像大佬看齐。。
• 前期学习应该抓住重点，主次分明，不是必须的了解，需要的时候再进行深入学习，重要的深入学习
• 需要深入学习Mogondb复合索引前缀、多键索引边界，文本索引，及索引的实现，对于地理位置索引了解