-
MySQL每秒57万的写入,带你飞~
所属栏目:[MySql教程] 日期:2018-12-08 热度:63
一、需求 一个朋友接到一个需求,从大数据平台收到一个数据写入在20亿+,需要快速地加载到MySQL中,供第二天业务展示使用。 二、实现再分析 对于单表20亿, 在MySQL运维,说真的这块目前涉及得比较少,也基本没什么经验,但对于InnoDB单表Insert 如果内存[详细]
-
MySQL分布式架构扩缩容的初步设计
所属栏目:[MySql教程] 日期:2018-12-08 热度:176
MySQL分布式架构的扩缩容是一个很有意思的话题。严格的说,我们所说的这种架构方案是一种伪分布式架构,我们就做下统称。重点是扩缩容的思路上。 如果一套环境的主从完整,分为多个逻辑分片的情况下,大体是这样的架构。 这个架构采用了4个物理分片,每个[详细]
-
免费电子书|MongoDB入门到实践
所属栏目:[MySql教程] 日期:2018-12-08 热度:87
都说技术在飞速发展,新技术也在不断涌现,但我认为,其实程序员所用的基础技术的发展是相对缓慢的,你可以好几年不学习但还能混得下去。令人惊讶的其实是成熟技术的被替换速度。就像在一夜之间,那些长期稳定成熟的技术发现它们不再被开发者关注。 最好的[详细]
-
记一次生产数据库意外重启的经历
所属栏目:[MySql教程] 日期:2018-12-08 热度:131
前言 在一个阳光明媚的下午,电脑右下角传来一片片邮件提醒,同时伴随着微信钉钉的震动,打开一看,应用各种出错,天兔告警,数据库服务器内存爆红,MySql 数据库实例挂掉了。 排查 先交代一下数据库版本: mysqlstatus -------------- mysqlVer14.14Distr[详细]
-
携程一次Redis迁移容器后Slowlog“异常”分析
所属栏目:[MySql教程] 日期:2018-12-08 热度:100
容器化对于Redis自动化运维效率、资源利用率方面都有巨大提升,携程在对Redis在容器上性能和稳定性进行充分验证后,启动了生产Redis迁移容器化的项目。其中第一批次两台宿主机,第二批次五台宿主机。 本次异常是第二批次迁移过程中发现的,排查过程一波三[详细]
-
携程一次Redis迁移容器后的Slowlog“异常”分析
所属栏目:[MySql教程] 日期:2018-12-08 热度:126
容器化对于Redis自动化运维效率、资源利用率方面都有巨大提升,携程在对Redis在容器上性能和稳定性进行充分验证后,启动了生产Redis迁移容器化的项目。其中第一批次两台宿主机,第二批次五台宿主机。 本次异常是第二批次迁移过程中发现的,排查过程一波三[详细]
-
分享 | MongoDb优化指南
所属栏目:[MySql教程] 日期:2018-11-22 热度:115
1、为什么选择MongoDB? 1、性能 在大数据时代中,大数据量的处理已经成了考量一个数据库最重要的原因之一。而MongoDB的一个主要目标就是尽可能的让数据库保持卓越的性能,这很大程度地决定了MongoDB的设计。在一个以传统机械硬盘为主导的年代,硬盘很可能[详细]
-
11月全球数据库排行榜:Oracle、MySQL均大幅度下滑,PostgreSQL走势凶猛
所属栏目:[MySql教程] 日期:2018-11-22 热度:185
近日,DB-Engines 发布了 2018 年 11 月份的数据库排名。本月排行榜中排名前三的依然是:Oracle、MySQL 和 Microsoft SQL Server。 首先来看看前 20 名排行中有哪些亮点: 1、Oracle和MySQL出现大幅度下滑,Oracle下滑了18.16分,相比去年同期下跌了58.94[详细]
-
使用Redis和Python构建一个共享单车的应用程序
所属栏目:[MySql教程] 日期:2018-11-22 热度:153
学习如何使用 Redis 和 Python 构建一个位置感知的应用程序。 我经常出差。但不是一个汽车狂热分子,所以当我有空闲时,我更喜欢在城市中散步或者骑单车。我参观过的许多城市都有共享单车系统,你可以租个单车用几个小时。大多数系统都有一个应用程序来帮[详细]
-
认识MongoDB 4.0的新特性——事务(Transactions)
所属栏目:[MySql教程] 日期:2018-11-22 热度:186
前言 相信使用过主流的关系型数据库的朋友对事务(Transactions)不会太陌生,它可以让我们把对多张表的多次数据库操作整合为一次原子操作,这在高并发场景下可以保证多个数据操作之间的互不干扰;并且一旦在这些操作过程任一环节中出现了错误,事务会中止并[详细]
-
SQL Server注意事项总结,高级程序员必背!
所属栏目:[MySql教程] 日期:2018-11-22 热度:198
本篇文章主要介绍SQL Server使用时的注意事项。 想成为一个高级程序员,数据库的使用是必须要会的。而数据库的使用纯熟程度,也侧面反映了一个开发的水平。 下面介绍SQL Server在使用和设计的过程中需要注意的事项。 SQL Server注意事项 Sql事务启动语句[详细]
-
pydbgen:一个数据库随机生成器
所属栏目:[MySql教程] 日期:2018-11-22 热度:187
用这个简单的工具生成带有多表的大型数据库,让你更好地用 SQL 研究数据科学。 在研究数据科学的过程中,最麻烦的往往不是算法或者技术,而是如何获取到一批原始数据。尽管网上有很多真实优质的数据集可以用于机器学习,然而在学习 SQL 时却不是如此。 对[详细]
-
从大神的角度深入理解MySQL,值得收藏~
所属栏目:[MySql教程] 日期:2018-11-22 热度:167
我对DB的理解 第一,数据库的组成:存储 + 实例 不必多说,数据当然需要存储;存储了还不够,显然需要提供程序对存储的操作进行封装,对外提供增删改查的API,即实例。 一个存储,可以对应多个实例,这将提高这个存储的负载能力以及高可用;多个存储可以分布[详细]
-
Redis的模糊查询在生产环境出现严重的性能问题
所属栏目:[MySql教程] 日期:2018-11-22 热度:186
Redis是一个高性能高效率的key-value存储的nosql数据库,由于数据是存储在内存中,因此访问速度非常快,由于项目涉及到数据库的查询非常多,而数据变大并不是非常频繁,所以在项目中采用Redis分担大部分MySQL的压力。 在项目中实际使用我用的Redis提供的客[详细]
-
MySQL的内存和相关问题排查
所属栏目:[MySql教程] 日期:2018-11-15 热度:101
我们都知道数据库是IO密集型一类应用,为了提高其性能大量使用内存代替文件(交换分区)的IO操作是保证数据库稳定、高效的基本原则。那么数据库是如何使用内存的,我们如何查看数据库内存的占用,如何通过通过数据库内存配置设置提高其性能?本文虫虫就以M[详细]
-
MySQL数据库之存储过程的创建和调用
所属栏目:[MySql教程] 日期:2018-11-15 热度:129
MySQL 5.0 版本开始支持存储过程。 存储过程(Stored Procedure)是一种在数据库中存储复杂程序,以便外部程序调用的一种数据库对象。 存储过程是为了完成特定功能的SQL语句集,经编译创建并保存在数据库中,用户可通过指定存储过程的名字并给定参数(需要[详细]
-
Redis命令行工具有趣的罕见用法
所属栏目:[MySql教程] 日期:2018-11-15 热度:198
我们天天都在使用 Redis 内置的命令行工具 redis-cli,久而久之以为它就是一个简单的交互式 Redis 数据结构手工操作程序,但是它背后强大的功能绝大多数同学可能闻所未闻。本节我们一起来挖掘这些鲜为人知的有趣用法。 执行单条命令 平时在访问 Redis 服务[详细]
-
Sharding-Sphere 正式步入 Apache 基金会孵化器
所属栏目:[MySql教程] 日期:2018-11-15 热度:151
美国时间2018年11月10日6点,分布式数据库中间件开源软件 Sharding-Sphere 正式步入 Apache 基金会孵化器。 根据 Apache 基金会邮件列表显示,7个约束性投票(binding votes)和7个无约束性投票(non-binding votes)的投票,全部持赞同意见,无弃权票和反对票[详细]
-
这可能是最学习MySQL最好的4本免费电子书
所属栏目:[MySql教程] 日期:2018-11-15 热度:124
MySQL是一个开源的关系型数据库,也是一个多用户、多线程的数据库管理系统。它是流行的LAMP开发平台(Linux、Apache HTTP Server、MySQL和PHP编程语言)的一个元素,MySQL在Web上尤其流行。 MySQL所使用的 SQL 语言是用于访问数据库的最常用标准化语言。MySQ[详细]
-
MySQL更改数据库数据存储目录
所属栏目:[MySql教程] 日期:2018-11-13 热度:124
MySQL数据库默认的数据库文件位于/var/lib/mysql下,有时候由于存储规划等原因,需要更改MySQL数据库的数据存储目录。下文总结整理了实践过程的操作步骤。 1:确认MySQL数据库存储目录 [root@DB-Servertmp]#mysqladmin-uroot-pvariables|grepdatadir Enter[详细]
-
这可能是学习MySQL最好的4本免费电子书
所属栏目:[MySql教程] 日期:2018-11-13 热度:57
MySQL是一个开源的关系型数据库,也是一个多用户、多线程的数据库管理系统。它是流行的LAMP开发平台(Linux、Apache HTTP Server、MySQL和PHP编程语言)的一个元素,MySQL在Web上尤其流行。 MySQL所使用的 SQL 语言是用于访问数据库的最常用标准化语言。MySQ[详细]
-
详解Redis基
所属栏目:[MySql教程] 日期:2018-11-13 热度:177
本文将从Redis的基本特性入手,通过讲述Redis的数据结构和主要命令对Redis的基本能力进行直观介绍。之后概览Redis提供的高级能力,并在部署、维护、性能调优等多个方面进行更深入的介绍和指导。 本文适合使用Redis的普通开发人员,以及对Redis进行选型、架[详细]
-
学Oracle,这里有7本不得不看的书
所属栏目:[MySql教程] 日期:2018-11-13 热度:184
DB-Engines的数据库排行榜中,Oracle一直稳居第一,狂甩第二名的MySQL,相比开源的MySQL,商业化的Oracle可以在所有主流平台上运行,且具有良好的可伸缩性和并行性,同时还有高性能、高安全性、低风险等优势。 并且许多岗位明确要求程序员熟练掌握Oracle,[详细]
-
开始使用MongoDB之前应该知道的14件事
所属栏目:[MySql教程] 日期:2018-11-05 热度:183
本文要点 即使MongoDB没有强制要求,设计一个模式还是至关重要。 类似地,在设计模式及访问模式时设计好索引。 避免大对象,尤其是大数组。 谨慎对待MongoDB的设置,尤其是关乎安全和稳定性时。 MongoDB没有查询优化器,因此,对于如何安排查询操作的顺序[详细]
-
实现故障恢复自动化:详解Redis哨兵技术
所属栏目:[MySql教程] 日期:2018-11-05 热度:153
在前面分享的《读完这篇文章,就基本搞定了Redis主从复制》中我们曾提到,Redis主从复制的作用有数据热备、负载均衡、故障恢复等;但主从复制存在的一个问题是故障恢复无法自动化。本文将要介绍的哨兵,它基于Redis主从复制,主要作用便是解决主节点故障恢[详细]