![Andrew Collier,英国Newbury的开发者](http://assets.toptal.io/images?url=http%3A%2F%2Fbs-uploads.toptal.io%2Fblackfish-uploads%2Ftalent%2Fprofile%2Fpicture_file%2Fpicture%2F1040249%2Fhuge_dd33deaf8ceadd0bace535c050778026-1b683067226f4257477388276645b120.jpg&width=524)
Andrew Collier
Verified Expert in Engineering
数据科学家和软件开发人员
安德鲁在做实验物理学家的时候学会了编程和数据分析技能. He now works as a data scientist. 他选择的工具是R和Python,并附带了大量的SQL. Andrew还广泛使用Docker,并与AWS和Azure合作过. 他对网络抓取有特别的热情,也是一个有成就的演讲者和培训师.
Portfolio
Experience
Availability
Preferred Environment
Bash、Linux、Git、Jupyter、Docker、Python、Amazon Web Services (AWS)、SQL、R
The most amazing...
...我开发的系统已经在南极洲自主运行了十多年.
Work Experience
Web Crawling Specialist
Unrival Limited
- 为B2B营销产品开发从大型社交媒体平台提取数据的刮网器.
- 使用抓取的数据生成HTML和PDF格式的自动报告.
- 使用Watson api来解析和分析抓取的数据.
- 使用Bing Maps API在抓取的数据中定位位置.
- 开发了一个灵活的网页抓取框架,从100多家不同公司的高管页面收集数据.
Founder | Data Scientist
Fathom Data
- 清理、准备和分析数据:这个过程是在R和Python中完成的.
- 用R和Python构建机器学习和深度学习模型. 许多模型随后被部署在api后面.
- 管理一个数据科学家团队,并与客户进行协调和沟通.
- Automated documentation. 使用R Markdown自动生成报告和演示文稿.
- 开发和管理包:为R和Python构建和维护了许多包.
- 准备讲座和演讲,在会议和研讨会上进行培训和演讲.
Freelance Data Scientist
Toptal
- 建立了强大的网页刮板提取数据的个人和组织从领英和销售导航.
- 构建用于存储医疗药品数据的PostgreSQL数据库. Implemented ETL pipeline.
- 使用Python和spaCy从LinkedIn个人资料和博客文章中提取重要信息.
Founder/Data Scientist
Exegetic Analytics
- 为临床试验进行数据分析.
- 开发了一套适用于印刷业的符合性分析系统.
- 在MQL4中实现了一个Kagi Charts指示器.
- 分析新闻事件对外汇交易的影响,使用从myfxbook上获取的数据.
- 发起德班R用户组和德班数据科学聚会.
Python数据分析师和技术作家|织机教程视频
Domino Data Lab
- 为现有和新功能创建视频和教程内容.
- 更新和维护文档. 增加自动化网站建设.
- 提供关于新特性的反馈和bug报告.
R Engineer - Shiny App
BluePath Solutions LLC.
- 开发了多个与数据交互的Shiny应用程序.
- 开发了一个网络爬虫来提取药品定价数据.
- Designed and built a database using PostgreSQL; deployed on Amazon RDS.
Content Creator
Datacamp
- 用Spark设计了一个关于机器学习的在线课程的内容.
- 开发课程内容、脚本和相关材料.
- 创建幻灯片,录制视频和音频,编辑内容.
- 继续维护课程并回应学生提出的问题.
Senior Data Scientist
Derivco
- Coded a game recommendation engine.
- 开发游戏/玩家异常检测系统.
- Automated routine analyses.
- Automated report generation.
- 发起数据科学工作组.
Honorary Senior Lecturer
University of KwaZulu-Natal
- 为南极洲的实验开发了自主观测系统.
- 将机器学习技术应用于闪电分布.
- 指导学生学习R语言和数据分析.
- 在许多国际会议上提出分析结果.
- 在国际期刊上发表研究成果.
Experience
{emayili}
http://github.com/datawookie/emayili该包具有最小的依赖关系,并公开了用于编写和发送电子邮件的整洁API. 它有详细的文档和广泛的测试套件.
这个包也成为了许多博客文章和会议/聚会的主题.
Trundler R Package
http://github.com/datawookie/trundlerTrundler是一项通过网络抓取收集零售价格数据的服务. The data are available via an API. 这个包为从R访问API提供了一组一致的函数.
Trundler Python Package
http://github.com/datawookie/trundlerpyTrundler是一项通过网络抓取收集零售价格数据的服务. The data are available via an API. 这个包为从R访问API提供了一组一致的函数.
Scientific Advisor
Skills
Languages
Python, SQL, Bash, R, Octave, c++, CSS, HTML, Sed
Libraries/APIs
REST API, Beautiful Soup, Bing API, ArcGIS, Pandas
Platforms
Linux, RStudio, Docker, Amazon Web Services (AWS)
Other
Machine Learning, Web Scraping, Task Automation, Regular Expressions, Visualization, Statistics, Data Analysis, Artificial Intelligence (AI), Technology Consulting, Data Visualization, Technical Writing, Bayesian Statistics, Unstructured Data Analysis, Web Crawlers, Large-scale Web Crawlers, APIs, Geospatial Data, Loom
Frameworks
Selenium, Scrapy, Django, RStudio Shiny, Spark
Tools
Microsoft Excel, Jupyter, Git, MATLAB
Paradigms
Automation, Data Science
Storage
Amazon S3 (AWS S3), MongoDB, Neo4j, MySQL
Education
Ph.D. Degree in Space Physics
皇家理工学院-斯德哥尔摩,瑞典
M.Sc. Degree in Nuclear Physics
Potchefstroom大学-南非Potchefstroom
B.Sc. (Hons) Degree in Physics & Mathematics
纳塔尔-德班大学,南非
Certifications
PhD
Royal Institute of Technology