Essa é a quinta aula de Aprendizagem de Máquinas do nosso curso, onde discutimos modelos lineares regularizados. Esses são os slides usados em sala.
Referências
Modern multivariate statistical techniques - Alan Julian Izenman [Capítulo 5]
Statistical Learning with Sparsity: The Lasso and Generalizations - Trevor Hastie and Robert Tibshirani
Referências Complementares
High-Dimensional Methods and Inference on Treatment and Structural Effects in Economics - Victor Chernozhukov, A. Belloni and C. Hansen
Soluções de Exercícios
Double Selection via lasso [Questão 1(b)]
Tuesday, May 29, 2018
Aula 25 de Métodos Computacionais em Economia (2018) - Aprendizagem de Máquinas: Noções de Previsão
Essa é a quarta aula de Aprendizagem de Máquinas do nosso curso que versa sobre previsão. Esses são os slides usados em sala.
Referências
Elements of forecasting - Francis Diebold
Time series analysis - James Douglas Hamilton
Referências Complementares
The Signal and the Noise: Why So Many Predictions Fail - But Some Don't - Nate Silver
The Predictors: How a Band of Maverick Physicists Used Chaos Theory to Trade Their Way to a Fortune on Wall Street - Thomas A. Bass
The Myth of the Rational Market: A History of Risk, Reward, and Delusion on Wall Street - Justin Fox
Soluções de Exercícios
Previsão de série temporal (propriedades) [Questão 1]
Previsão de venda de bebidas alcólicas [Questão 2]
Referências
Elements of forecasting - Francis Diebold
Time series analysis - James Douglas Hamilton
Referências Complementares
The Signal and the Noise: Why So Many Predictions Fail - But Some Don't - Nate Silver
The Predictors: How a Band of Maverick Physicists Used Chaos Theory to Trade Their Way to a Fortune on Wall Street - Thomas A. Bass
The Myth of the Rational Market: A History of Risk, Reward, and Delusion on Wall Street - Justin Fox
Soluções de Exercícios
Previsão de série temporal (propriedades) [Questão 1]
Previsão de venda de bebidas alcólicas [Questão 2]
Aula 24 de Métodos Computacionais em Economia (2018) - Aprendizagem de Máquinas: Noções de estatística bayesiana
Essa é a terceira aula de Aprendizagem de Máquinas do nosso curso. Esses são os slides usados em sala.
Códigos usados em sala de aula
Proporção de fumantes
Referências
Bayesian data analysis - Gelman, Carlin e Stern - Christopher Bishop [Capítulos 1, 2, 6, 10, 11]
Estatística Bayesiana. Paulino, Turkman e Murteira [Capítulos 1, 2, 3, 4 e 7].
Referências Complementares para exercícios
Bayesian econometrics - Gary Koop
Soluções de Exercícios
Regressão linear simples [Questão 1]
Regressão linear múltipla [Questão 2]
Códigos usados em sala de aula
Proporção de fumantes
Referências
Bayesian data analysis - Gelman, Carlin e Stern - Christopher Bishop [Capítulos 1, 2, 6, 10, 11]
Estatística Bayesiana. Paulino, Turkman e Murteira [Capítulos 1, 2, 3, 4 e 7].
Referências Complementares para exercícios
Bayesian econometrics - Gary Koop
Soluções de Exercícios
Regressão linear simples [Questão 1]
Regressão linear múltipla [Questão 2]
Aula 23 de Métodos Computacionais em Economia (2018) - Aprendizagem de Máquinas: Modelos Lineares
Essa é a segunda aula de Aprendizagem de Máquinas do nosso curso que versa sobre modelos lineares. Esses são os slides usados em sala.
Códigos usados em sala de aula
Decomposição Viés-Variância
Referências
Pattern Recognition and Machine Learning - Christopher Bishop [Seções 3.1, 3.2 e 3.6]
Modern multivariate statistical techniques - Alan Julian Izenman [Capítulo 5]
The elements of statistical learning - Hastie, Tibshirani e Friedman [Capítulo 3]
Neural networks - Haykin [Capítulo 7]
Referências Complementares para otimização numérica
Numerical methods in economics - Kenneth Rudd
Numerical methods in engineering with python - Jaan Kiusalaas
Bases de dados usadas para responder os exercícios
PRorum: Sites com bases de dados interessantes
Soluções de Exercícios
Rede Neural de Bases radiais [Questão 1]
PCR - Principal Components Regression [Questão 2(a)
PLS - Implementação do Partial Least Squares [Questão 2(b)
PLS - Implementação do Ridge [Questão 2(c)
Forwards Stepwise em python [Questão 3(a)
Implementação do Lasso [Questão 3(b)
Implementação do LARS [Questão 3(c)
Forwards Stagewise em python [Questão 3(d)
Códigos usados em sala de aula
Decomposição Viés-Variância
Referências
Pattern Recognition and Machine Learning - Christopher Bishop [Seções 3.1, 3.2 e 3.6]
Modern multivariate statistical techniques - Alan Julian Izenman [Capítulo 5]
The elements of statistical learning - Hastie, Tibshirani e Friedman [Capítulo 3]
Neural networks - Haykin [Capítulo 7]
Referências Complementares para otimização numérica
Numerical methods in economics - Kenneth Rudd
Numerical methods in engineering with python - Jaan Kiusalaas
Bases de dados usadas para responder os exercícios
PRorum: Sites com bases de dados interessantes
Soluções de Exercícios
Rede Neural de Bases radiais [Questão 1]
PCR - Principal Components Regression [Questão 2(a)
PLS - Implementação do Partial Least Squares [Questão 2(b)
PLS - Implementação do Ridge [Questão 2(c)
Forwards Stepwise em python [Questão 3(a)
Implementação do Lasso [Questão 3(b)
Implementação do LARS [Questão 3(c)
Forwards Stagewise em python [Questão 3(d)
Aula 22 de Métodos Computacionais em Economia (2018) - Introdução a Aprendizagem de Máquinas
Essa foi a nossa aula introdutória à Aprendizagem de Máquinas.
Referências
The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World - Pedro Domingos
Pattern Recognition and Machine Learning - Christopher Bishop
Deep learning - Ian Goodfellow, Yoshua Bengio and Aaron Courville
The elements of statistical learning - Hastie, Tibshirani e Friedman
Modern multivariate statistical techniques - Alan Julian Izenman
The discipline of machine learning - T. M. Mitchel
A few useful things to know about machine learning - P. Domingos
Learning deep architectures for AI - Y. Bengio
In defence of forensic social science - Amir Goldberg [Big data and Society, 2015]
Sociology in the era of big data: the ascent of forensic social science - D. A. McFarland e
K. Lewis [American Sociology, 2015]
Economic reason and artificial intelligence - D. C. Parkes and M. P. Wellman [Sience 349,
p.267, 2015]
Big Data: New Tricks for Econometrics - H. R. Varian
The Impact of Machine Learning on Economics - Susan Athey
The State of Applied Econometrics: Causality and Policy Evaluation
Susan Athey e Guido W. Imbens.
Beyond Prediction: Using Big Data for Policy Problems -
Susan Athey
High-Dimensional Methods and Inference on Treatment and Structural Effects in Economics - Victor Chernozhukov, A. Belloni and C. Hansen
Prediction Policy Problems -
Jon Kleinberg, Jens Ludwig, Sendhil Mullainathan, and Ziad Obermeyer
Referências
The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World - Pedro Domingos
Pattern Recognition and Machine Learning - Christopher Bishop
Deep learning - Ian Goodfellow, Yoshua Bengio and Aaron Courville
The elements of statistical learning - Hastie, Tibshirani e Friedman
Modern multivariate statistical techniques - Alan Julian Izenman
The discipline of machine learning - T. M. Mitchel
A few useful things to know about machine learning - P. Domingos
Learning deep architectures for AI - Y. Bengio
In defence of forensic social science - Amir Goldberg [Big data and Society, 2015]
Sociology in the era of big data: the ascent of forensic social science - D. A. McFarland e
K. Lewis [American Sociology, 2015]
Economic reason and artificial intelligence - D. C. Parkes and M. P. Wellman [Sience 349,
p.267, 2015]
Big Data: New Tricks for Econometrics - H. R. Varian
The Impact of Machine Learning on Economics - Susan Athey
The State of Applied Econometrics: Causality and Policy Evaluation
Susan Athey e Guido W. Imbens.
Beyond Prediction: Using Big Data for Policy Problems -
Susan Athey
High-Dimensional Methods and Inference on Treatment and Structural Effects in Economics - Victor Chernozhukov, A. Belloni and C. Hansen
Prediction Policy Problems -
Jon Kleinberg, Jens Ludwig, Sendhil Mullainathan, and Ziad Obermeyer
Friday, May 11, 2018
Aula 21 de Métodos Computacionais em Economia (2018) - Interlúdio 2: Análise Numérica e Otimização
Essa aula não será formalmente discutida em sala de aula. De fato, precisaríamos de muitas aulas para fazer um apanhado das principais idéias. Usaremos esse espaço apenas para fazer alguns comentários e indicar possíveis referências que podem ser consultadas em tópicos específicos.
Na segunda parte do nosso curso sobre Machine Learning, alguns tópicos de Análise Numérica e Otimização Numérica serão mencionados e explicados informalmente quando aparecerem. Sem tentar ser exaustivo, entre eles estão:
1) Métodos que lidam com a solução de sistemas lineares. Particularmente a decomposição LU.
2) Métodos que lidam com a solução de sistemas não lineares. Particularmente o método de Newton.
3) Métodos que lidam com otimização numérica. Particularmente o método do gradiente e formas de restringir problemas de otimização.
Referências
Analysis of Numerical Methods - Eugene Isaacson and Herbert Bishop Keller
A First Look at Numerical Functional Analysis - W. W. Sawyer
Numerical methods in economics - Kenneth Rudd
Numerical methods in engineering with python - Jaan Kiusalaas
Na segunda parte do nosso curso sobre Machine Learning, alguns tópicos de Análise Numérica e Otimização Numérica serão mencionados e explicados informalmente quando aparecerem. Sem tentar ser exaustivo, entre eles estão:
1) Métodos que lidam com a solução de sistemas lineares. Particularmente a decomposição LU.
2) Métodos que lidam com a solução de sistemas não lineares. Particularmente o método de Newton.
3) Métodos que lidam com otimização numérica. Particularmente o método do gradiente e formas de restringir problemas de otimização.
Referências
Analysis of Numerical Methods - Eugene Isaacson and Herbert Bishop Keller
A First Look at Numerical Functional Analysis - W. W. Sawyer
Numerical methods in economics - Kenneth Rudd
Numerical methods in engineering with python - Jaan Kiusalaas
Aula 20 de Métodos Computacionais em Economia (2018) - Interlúdio 1: Métodos de Monte Carlo
Na nossa vigésima aula de métodos computacionais introduzimos técnicas de Monte Carlo. Esses são os slides usados em sala.
Abaixo temos os exemplos apresentados em sala de aula:
Relação entre as áreas do círculo e quadrado
Consistência do OLS
Album de figurinhas
Referências
Numerical methods in economics - Kenneth Judd [Capítulo 8]
Introdução aos métodos estatísticos para economia e finanças - Alexandre Carvalho, Daniel Cajueiro e Reinaldo Camargo.
Referências adicionais
Estatística sem Mistério
Soluções de Exercícios
Como são gerados os números aleatórios?
Monte Carlo: Riqueza
Abaixo temos os exemplos apresentados em sala de aula:
Relação entre as áreas do círculo e quadrado
Consistência do OLS
Album de figurinhas
Referências
Numerical methods in economics - Kenneth Judd [Capítulo 8]
Introdução aos métodos estatísticos para economia e finanças - Alexandre Carvalho, Daniel Cajueiro e Reinaldo Camargo.
Referências adicionais
Estatística sem Mistério
Soluções de Exercícios
Como são gerados os números aleatórios?
Monte Carlo: Riqueza
Aula 19 de Métodos Computacionais em Economia (2018) - Compromisso entre eficiência temporal e espacial
Na nossa décima nona aula de métodos computacionais discutimos o compromisso entre eficiência temporal e espacial. Esses são os slides usados em sala.
Códigos usados em sala de aula
Ordenação por contagem
Referências para essa aula:
Introduction to the Design and Analysis of Algorithms - Anany Levitin [Seções 7.1 e 11.2]
Introduction to Algorithms - Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest e Clifford Stein [Capítulo 8]
Códigos usados em sala de aula
Ordenação por contagem
Referências para essa aula:
Introduction to the Design and Analysis of Algorithms - Anany Levitin [Seções 7.1 e 11.2]
Introduction to Algorithms - Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest e Clifford Stein [Capítulo 8]
Aula 18 de Métodos Computacionais em Economia (2018) - Quick sort
Na nossa décima oitava aula de métodos computacionais discutimos o algoritmo conhecido como Quick Sort e como aleatorização pode ser usada para melhorar a complexidade do algoritmo. Esses são os slides usados em sala.
Referências para essa aula:
Introduction to the Design and Analysis of Algorithms - Anany Levitin [Seção 5.2]
Introduction to Algorithms - Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest e Clifford Stein [Capítulo 7]
Solução de exercícios
Cálculo da mediana com complexidade linear
Referências para essa aula:
Introduction to the Design and Analysis of Algorithms - Anany Levitin [Seção 5.2]
Introduction to Algorithms - Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest e Clifford Stein [Capítulo 7]
Solução de exercícios
Cálculo da mediana com complexidade linear
Aula 17 de Métodos Computacionais em Economia (2018) - Melhoria Iterativa
Na nossa décima sétima aula de métodos computacionais discutimos a estratégia conhecida como Melhoria Iterativa. Esses são os slides usados em sala.
Códigos usados em sala de aula
Marriage Stable Problem
Referências para essa aula:
Introduction to the Design and Analysis of Algorithms - Anany Levitin [Capítulo 10]
Combinatorial optimization: Algorithms and Complexity - Christos H Papadimitriou e Kenneth Steiglitz [Capítulo 19]
Referências complementares
Two-Sided Matching: A Study in Game-Theoretic Modeling and Analysis - Alvin E. Roth e Marilda A. Oliveira Sotomayor
Stable Marriage and Its Relation to Other Combinatorial Problems: An Introduction to the Mathematical Analysis of Algorithms - Donald Ervin Knuth
Soluções
College Problem Admission
Códigos usados em sala de aula
Marriage Stable Problem
Referências para essa aula:
Introduction to the Design and Analysis of Algorithms - Anany Levitin [Capítulo 10]
Combinatorial optimization: Algorithms and Complexity - Christos H Papadimitriou e Kenneth Steiglitz [Capítulo 19]
Referências complementares
Two-Sided Matching: A Study in Game-Theoretic Modeling and Analysis - Alvin E. Roth e Marilda A. Oliveira Sotomayor
Stable Marriage and Its Relation to Other Combinatorial Problems: An Introduction to the Mathematical Analysis of Algorithms - Donald Ervin Knuth
Soluções
College Problem Admission
Aula 16 de Métodos Computacionais em Economia (2018) - Estratégias Gananciosas
Na nossa décima sexta aula de métodos computacionais discutimos a estratégia conhecida como Gananciosa (ou Gulosa). Esses são os slides usados em sala.
Referências para essa aula:
Introduction to the Design and Analysis of Algorithms - Anany Levitin [Capítulo 9]
Combinatorial optimization: Algorithms and Complexity - Christos H Papadimitriou e Kenneth Steiglitz [Capítulo 12]
Introduction to Algorithms - Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest e Clifford Stein [Capítulo 16]
Soluções da série de exercícios
Algoritmo de Prim para encontrar a MST de um grafo
Algoritmo de Kruskal para encontrar a MST de um grafo
Referências para essa aula:
Introduction to the Design and Analysis of Algorithms - Anany Levitin [Capítulo 9]
Combinatorial optimization: Algorithms and Complexity - Christos H Papadimitriou e Kenneth Steiglitz [Capítulo 12]
Introduction to Algorithms - Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest e Clifford Stein [Capítulo 16]
Soluções da série de exercícios
Algoritmo de Prim para encontrar a MST de um grafo
Algoritmo de Kruskal para encontrar a MST de um grafo
Subscribe to:
Posts (Atom)